Pandas進行資料編碼的十種方式總結

2022-04-20 19:01:09

數值型資料

讓我們先來討論連續型資料的轉換，也就是根據Score列的值，來新增一列標籤，即如果分數大於90，則標記為A，分數在80-90標記為B，以此類推。

自定義函數 + 迴圈遍歷

首先當然是最簡單，最笨的方法，自己寫一個函數，並用迴圈遍歷，那肯定就是一個def加一個for

df1 = df.copy()

def myfun(x):
    if x>90:
        return 'A'
    elif x>=80 and x<90:
        return 'B'
    elif x>=70 and x<80:
        return 'C'
    elif x>=60 and x<70:
        return 'D'
    else:
        return 'E'
    
df1['Score_Label'] = None
for i in range(len(df1)):
    df1.iloc[i,3] = myfun(df1.iloc[i,2])

這段程式碼，相信所有人都能看懂，簡單好想但比較麻

有沒有更簡單的辦法呢？pandas當然提供了很多高效的操作的函數，繼續往下看。

自定義函數 + map

現在，可以使用map來幹掉迴圈（雖然本質上也是迴圈）

df2 = df.copy()

def mapfun(x):
    if x>90:
        return 'A'
    elif x>=80 and x<90:
        return 'B'
    elif x>=70 and x<80:
        return 'C'
    elif x>=60 and x<70:
        return 'D'
    else:
        return 'E'

df2['Score_Label'] = df2['Score'].map(mapfun)

結果是同樣的

自定義函數 + apply

如果還想簡潔程式碼，可以使用自定義函數 + apply來幹掉自定義函數

df3 = df.copy()
df3['Score_Label'] = df3['Score'].apply(lambda x: 'A' if x > 90 else (
    'B' if 90 > x >= 80 else ('C' if 80 > x >= 70 else ('D' if 70 > x >= 60 else 'E'))))

結果和上面是一致的，只不過這麼寫容易被打。

使用 pd.cut

現在，讓我們繼續瞭解更高階的pandas函數，依舊是對 Score 進行編碼，使用pd.cut，並指定劃分的區間後，可以直接幫你分好組

df4 = df.copy()
bins = [0, 59, 70, 80, 100]
df4['Score_Label'] = pd.cut(df4['Score'], bins)

也可以直接使用labels引數來修改對應組的名稱，是不是方便多了

df4['Score_Label_new'] = pd.cut(df4['Score'], bins, labels=[
                                'low', 'middle', 'good', 'perfect'])

使用 sklearn 二值化

既然是和機器學習相關，sklearn肯定跑不掉，如果需要新增一列並判定成績是否及格，就可以使用Binarizer函數，程式碼也是簡潔好懂

df5 = df.copy()
binerize = Binarizer(threshold = 60)
trans = binerize.fit_transform(np.array(df1['Score']).reshape(-1,1))
df5['Score_Label'] = trans

文字型資料

下面介紹更常見的，對文字資料進行轉換打標籤。例如新增一列，將性別男、女分別標記為0、1

使用 replace

首先介紹replace，但要注意的是，上面說過的自定義函數相關方法依舊是可行的

df6 = df.copy()
df6['Sex_Label'] = df6['Sex'].replace(['Male','Female'],[0,1])

上面是對性別操作，因為只有男女，所以可以手動指定0、1，但要是類別很多，也可以使用pd.value_counts()來自動指定標籤，例如對Course Name列分組

df6 = df.copy()
value = df6['Course Name'].value_counts()
value_map = dict((v, i) for i,v in enumerate(value.index))
df6['Course Name_Label'] = df6.replace({'Course Name':value_map})['Course Name']

使用map

額外強調的是，新增一列，一定要能夠想到map

df7 = df.copy()
Map = {elem:index for index,elem in enumerate(set(df["Course Name"]))}
df7['Course Name_Label'] = df7['Course Name'].map(Map)

使用astype

這個方法應該很多人不知道，這就屬於上面提到的知乎問題，能實現的方法太多了

df8 = df.copy()
value = df8['Course Name'].astype('category')
df8['Course Name_Label'] = value.cat.codes

使用 sklearn

同數值型一樣，這種機器學習中的經典操作，sklearn一定有辦法，使用LabelEncoder可以對分類資料進行編碼

from sklearn.preprocessing import LabelEncoder
df9 = df.copy()
le = LabelEncoder()
le.fit(df9['Sex'])
df9['Sex_Label'] = le.transform(df9['Sex'])
le.fit(df9['Course Name'])
df9['Course Name_Label'] = le.transform(df9['Course Name'])

一次性轉換兩列也是可以的

df9 = df.copy()
le = OrdinalEncoder()
le.fit(df9[['Sex','Course Name']])
df9[['Sex_Label','Course Name_Label']] = le.transform(df9[['Sex','Course Name']])

使用factorize

最後，再介紹一個小眾但好用的pandas方法，我們需要注意到，在上面的方法中，自動生成的Course Name_Label列，雖然一個資料對應一個語言，因為避免寫自定義函數或者字典，這樣可以自動生成，所以大多是無序的。

如果我們希望它是有序的，也就是 Python 對應 0，Java對應1，除了自己指定，還有什麼優雅的辦法？這時可以使用factorize，它會根據出現順序進行編碼

df10 = df.copy()
df10['Course Name_Label'] = pd.factorize(df10['Course Name'])[0]

結合匿名函數，我們可以做到對多列進行有序編碼轉換

df10 = df.copy()
cat_columns = df10.select_dtypes(['object']).columns

df10[['Sex_Label', 'Course Name_Label']] = df10[cat_columns].apply(
    lambda x: pd.factorize(x)[0])