pandas刪除部分資料後重新生成索引的實現

2022-07-16 18:01:29

pandas刪除部分資料後重新索引

在使用pandas時，由於隔行讀取刪除了部分資料，導致刪除資料後的索引不連續：

原資料

刪除部分資料後

在繫結pyqt的tableview時需進行格式化，結果出現報錯：

主要原因是索引值不連續，所以無法格式化，需對刪除資料後的資料集進行重新索引，在格式化資料集之前加一句程式碼：

new_biao = biao.reset_index(drop=True)

順利通過了編碼並顯示到tableview，問題解決。

附件：網上查到的格式化用的編碼

class PandasModel(QtCore.QAbstractTableModel):
    """
    Class to populate a table view with a pandas dataframe
    """
    def __init__(self, data, parent=None):
        QtCore.QAbstractTableModel.__init__(self, parent)
        self._data = data
    def rowCount(self, parent=None):
        return len(self._data.values)
    def columnCount(self, parent=None):
        return self._data.columns.size
    def data(self, index, role=QtCore.Qt.DisplayRole):
        if index.isValid():
            if role == QtCore.Qt.DisplayRole:
                return str(self._data.values[index.row()][index.column()])
        return None
    def headerData(self, col, orientation, role):
        if orientation == QtCore.Qt.Horizontal and role == QtCore.Qt.DisplayRole:
            return self._data.columns[col]
        return None

使用：

model = PandasModel(your_pandas_data_frame)
your_tableview.setModel(model)

pandas常用的index索引設定

1.讀取時指定索引列

很多情況下，我們的資料來源是 CSV 檔案。假設有一個名為的檔案data.csv，包含以下資料。

date,temperature,humidity
07/01/21,95,50
07/02/21,94,55
07/03/21,94,56

預設情況下，pandas將會建立一個從0開始的索引行，如下：

>>> pd.read_csv("data.csv", parse_dates=["date"])
        date  temperature  humidity
0 2021-07-01           95        50
1 2021-07-02           94        55
2 2021-07-03           94        56

但是，我們可以在匯入過程中通過將index_col引數設定為某一列可以直接指定索引列。

>>> pd.read_csv("data.csv", parse_dates=["date"], index_col="date")
            temperature  humidity
date                             
2021-07-01           95        50
2021-07-02           94        55
2021-07-03           94        56

2. 使用現有的 DataFrame 設定索引

當然，如果已經讀取資料或做完一些資料處理步驟後，我們可以通過set_index手動設定索引。

>>> df = pd.read_csv("data.csv", parse_dates=["date"])
>>> df.set_index("date")
            temperature  humidity
date                             
2021-07-01           95        50
2021-07-02           94        55
2021-07-03           94        56

這裡有兩點需要注意下。

1.set_index方法預設將建立一個新的 DataFrame。如果要就地更改df的索引，需要設定inplace=True。

df.set_index(「date」, inplace=True)

2.如果要保留將要被設定為索引的列，可以設定drop=False。

df.set_index(「date」, drop=False)

3. 一些操作後重置索引

在處理 DataFrame 時，某些操作（例如刪除行、索引選擇等）將會生成原始索引的子集，這樣預設的數位索引排序就亂了。如要重新生成連續索引，可以使用reset_index方法。

>>> df0 = pd.DataFrame(np.random.rand(5, 3), columns=list("ABC"))
>>> df0
          A         B         C
0  0.548012  0.288583  0.734276
1  0.342895  0.207917  0.995485
2  0.378794  0.160913  0.971951
3  0.039738  0.008414  0.226510
4  0.581093  0.750331  0.133022
>>> df1 = df0[df0.index % 2 == 0]
>>> df1
          A         B         C
0  0.548012  0.288583  0.734276
2  0.378794  0.160913  0.971951
4  0.581093  0.750331  0.133022
>>> df1.reset_index(drop=True)
          A         B         C
0  0.548012  0.288583  0.734276
1  0.378794  0.160913  0.971951
2  0.581093  0.750331  0.133022

通常，我們是不需要保留舊索引的，因此可將drop引數設定為True。同樣，如果要就地重置索引，可設定inplace引數為True，否則將建立一個新的 DataFrame。

4. 將索引從 groupby 操作轉換為列

groupby分組方法是經常用的。比如下面通過新增一個分組列team來進行分組。

>>> df0["team"] = ["X", "X", "Y", "Y", "Y"]
>>> df0
          A         B         C team
0  0.548012  0.288583  0.734276    X
1  0.342895  0.207917  0.995485    X
2  0.378794  0.160913  0.971951    Y
3  0.039738  0.008414  0.226510    Y
4  0.581093  0.750331  0.133022    Y
>>> df0.groupby("team").mean()
             A         B         C
team                              
X     0.445453  0.248250  0.864881
Y     0.333208  0.306553  0.443828

預設情況下，分組會將分組列程式設計index索引。但是很多情況下，我們不希望分組列變成索引，因為可能有些計算或者判斷邏輯還是需要用到該列的。因此，我們需要設定一下讓分組列不成為索引，同時也能完成分組的功能。

有兩種方法可以完成所需的操作，第一種是用reset_index，第二種是在groupby方法裡設定as_index=False。個人更喜歡第二種方法，它只涉及兩個步驟，更簡潔。

>>> df0.groupby("team").mean().reset_index()
  team         A         B         C
0    X  0.445453  0.248250  0.864881
1    Y  0.333208  0.306553  0.443828
>>> df0.groupby("team", as_index=False).mean()
  team         A         B         C
0    X  0.445453  0.248250  0.864881
1    Y  0.333208  0.306553  0.443828

5.排序後重置索引

當用sort_value排序方法時也會遇到這個問題，因為預設情況下，索引index跟著排序順序而變動，所以是亂雪。如果我們希望索引不跟著排序變動，同樣需要在sort_values方法中設定一下引數ignore_index即可。

>>> df0.sort_values("A")
          A         B         C team
3  0.039738  0.008414  0.226510    Y
1  0.342895  0.207917  0.995485    X
2  0.378794  0.160913  0.971951    Y
0  0.548012  0.288583  0.734276    X
4  0.581093  0.750331  0.133022    Y
>>> df0.sort_values("A", ignore_index=True)
          A         B         C team
0  0.039738  0.008414  0.226510    Y
1  0.342895  0.207917  0.995485    X
2  0.378794  0.160913  0.971951    Y
3  0.548012  0.288583  0.734276    X
4  0.581093  0.750331  0.133022    Y

6.刪除重複後重置索引

刪除重複項和排序一樣，預設執行後也會打亂排序順序。同理，可以在drop_duplicates方法中設定ignore_index引數True即可。

>>> df0
          A         B         C team
0  0.548012  0.288583  0.734276    X
1  0.342895  0.207917  0.995485    X
2  0.378794  0.160913  0.971951    Y
3  0.039738  0.008414  0.226510    Y
4  0.581093  0.750331  0.133022    Y
>>> df0.drop_duplicates("team", ignore_index=True)
          A         B         C team
0  0.548012  0.288583  0.734276    X
1  0.378794  0.160913  0.971951    Y

7. 索引的直接賦值

當我們有了一個 DataFrame 時，想要使用不同的資料來源或單獨的操作來分配索引。在這種情況下，可以直接將索引分配給現有的 df.index。

>>> better_index = ["X1", "X2", "Y1", "Y2", "Y3"]
>>> df0.index = better_index
>>> df0
           A         B         C team
X1  0.548012  0.288583  0.734276    X
X2  0.342895  0.207917  0.995485    X
Y1  0.378794  0.160913  0.971951    Y
Y2  0.039738  0.008414  0.226510    Y
Y3  0.581093  0.750331  0.133022    Y

8.寫入CSV檔案時忽略索引

資料匯出到 CSV 檔案時，預設 DataFrame 具有從 0 開始的索引。如果我們不想在匯出的 CSV 檔案中包含它，可以在to_csv方法中設定index引數。

>>> df0.to_csv("exported_file.csv", index=False)

如下所示，匯出的 CSV 檔案中，索引列未包含在檔案中。

其實，很多方法中都有關於索引的設定，只不過大家一般比較關心資料，而經常忽略了索引，才導致繼續執行時可能會報錯。以上幾個高頻的操作都是有索引設定的，建議大家平時用的時候養成設定索引的習慣，這樣會節省不少時間。

以上為個人經驗，希望能給大家一個參考，也希望大家多多支援it145.com。