Python資料預處理常用的5個技巧

2022-02-11 13:01:23

前言

我們知道資料是一項寶貴的資產，近年來經歷了指數級增長。但是原始資料通常不能立即使用，它需要進行大量清理和轉換。

Pandas 是 Python 的資料分析和操作庫，它有多種清理資料的方法和函數。在本文中，我將做5個範例來幫助大家掌握資料清理技能。

這是一個包含髒資料的範例資料框

讓我們看看可以做些什麼來使這個資料集變得乾淨。

第一列是多餘的，應該刪除；

Date 沒有標準；

Name 寫成姓氏、名字，並有大寫和小寫字母；

Payment 代表一個數量，但它們顯示為字串，需要處理；

在 Note 中，有一些非字母數位應該被刪除;

刪除列是使用 drop 函數的簡單操作。除了寫列名外，我們還需要指定軸引數的值，因為 drop 函數用於刪除行和列。最後，我們可以使用 inplace 引數來儲存更改。

import pandas as pd
df.drop("Unnamed: 0", axis=1, inplace=True)

我們有多種選擇將日期值轉換為適當的格式。一種更簡單的方法是使用 astype 函數來更改列的資料型別。
它能夠處理範圍廣泛的值並將它們轉換為整潔、標準的日期格式。

df["Date"] = df["Date"].astype("datetime64[ns]")

關於名稱列，我們首先需要解決如下問題：

首先我們應該用所有大寫或小寫字母來表示它們。另一種選擇是將它們大寫（即只有首字母是大寫的）；

切換姓氏和名字的順序；

df["Name"].str.split(",", expand=True)

然後，我將取第二列與第一列結合起來，中間有一個空格。最後一步是使用 lower 函數將字母轉換為小寫。

df["Name"] = (df["Name"].str.split(",", expand=True)[1] + " " + df["Name"].str.split(",", expand=True)[0]).str.lower()

支付Payment的資料型別是不能用於數值分析的。在將其轉換為數位資料型別(即整數或浮點數)之前，我們需要刪除美元符號並將第一行中的逗號替換為點。

我們可以使用 Pandas 在一行程式碼中完成所有這些操作

df["Payment"] = df["Payment"].str[1:].str.replace(",", ".").astype("float")

Note 列中的一些字元也需要刪除。在處理大型資料集時，可能很難手動替換它們。

我們可以做的是刪除非字母數位字元（例如？、！、-、. 等）。在這種情況下也可以使用 replace 函數，因為它接受正規表示式。

如果我們只想要字母字元，下面是我們如何使用替換函數：

df["Note"].str.replace('[^a-zA-Z]', '')
0      Unhappy
1    Satisfied
2      Neutral
3      Unhappy
4      Neutral
Name: Note, dtype: object

如果我們想要字母和數位（即字母數位），我們需要在我們的正規表示式中新增數位：

df["Note"].str.replace('[^a-zA-Z0-9]', '')
0      Unhappy
1    Satisfied
2      Neutral
3      Unhappy
4      Neutral0
Name: Note, dtype: object

請注意，這次沒有刪除最後一行中的 0，我只需選擇第一個選項。如果我還想在刪除非字母數位字元后將字母轉換為小寫

df["Note"] = df["Note"].str.replace('[^a-zA-Z]', '').str.lower()

與初始形式相比，資料集看起來要好得多。當然，它是一個簡單的資料集，但這些清理操作在處理大型資料集時肯定會對你有所幫助。

到此這篇關於Python資料預處理常用的5個技巧的文章就介紹到這了,更多相關Python資料預處理內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！