通過5個例子讓你學會Pandas中的字串過濾

2022-08-29 14:01:29

要處理文字資料，需要比數位型別的資料更多的清理步驟。為了從文字資料中提取有用和資訊，通常需要執行幾個預處理和過濾步驟。

Pandas 庫有許多可以輕鬆簡單地處理文字資料函數和方法。在本文中，我介紹將學習 5 種可用於過濾文字資料（即字串）的不同方法：

是否包含一系列字元
求字串的長度
判斷以特定的字元序列開始或結束
判斷字元為數位或字母數位
查詢特定字元序列的出現次數

首先我們匯入庫和資料

 import pandas as pd
 df = pd.read_csv("example.csv")
 df

我們這個樣例的DataFrame 包含 6 行和 4 列。我們將使用不同的方法來處理 DataFrame 中的行。第一個過濾操作是檢查字串是否包含特定的單詞或字元序列，使用 contains 方法查詢描述欄位包含“used car”的行。但是要獲得pandas中的字串需要通過 Pandas 的 str 存取器，程式碼如下：

 df[df["description"].str.contains("used car")]

但是為了在這個DataFrame中找到所有的二手車，我們需要分別查詢“used”和“car”這兩個詞，因為這兩個詞可能同時出現，但是並不是連線在一起的：

 df[df["description"].str.contains("used") &
    df["description"].str.contains("car")]

可以看到最後一行包含“car”和“used”，但不是一起。

下一個方法是根據字串的長度進行過濾。假設我們只對超過 15 個字元的描述感興趣。可以使用內建的 len 函數來執行此操作，如下所示：

df[df["description"].apply(lambda x: len(x) > 15)]

這裡就需要編寫了一個 lambda 表示式，通過在表示式中使用 len 函數獲取長度並使用apply函數將其應用到每一行。執行此操作的更常用和有效的方法是通過 str 存取器來進行：

df[df["description"].str.len() > 15]

我們可以分別使用startswith和endswith基於字串的第一個或最後一個字母進行過濾。

df[df["lot"].str.startswith("A")]

這個方法也能夠檢查前 n 個字元。例如，我們可以選擇以“A-0”開頭的行：

df[df["lot"].str.startswith("A-0")]

Python 的內建的字串函數都可以應用到Pandas DataFrames 中。例如，在價格列中，有一些非數位字元，如 $ 和 k。我們可以使用 isnumeric 函數過濾掉。

df[df["price"].apply(lambda x: x.isnumeric()==True)]

同樣如果需要保留字母數位（即只有字母和數位），可以使用 isalphanum 函數，用法與上面相同。

count 方法可以計算單個字元或字元序列的出現次數。例如，查詢一個單詞或字元出現的次數。

我們這裡統計描述欄中的“used”的出現次數：

 df["description"].str.count("used")
 
 # 結果
 0    1
 1    0
 2    1
 3    1
 4    1
 5    0
 Name: description, dtype: int64

如果想使用它進行條件過濾，只需將其與一個值進行比較，如下所示：

 df[df["description"].str.count("used") < 1]

非常簡單吧

本文介紹了基於字串值的 5 種不同的 Pandas DataFrames 方式。雖然一般情況下我們更關注數值型別的資料，但文字資料同樣重要，並且包含許多有價值的資訊。能夠對文字資料進行清理和預處理對於資料分析和建模至關重要。

附：pandas 中按條件過濾字串型別的值

一、使用~對字串值取反：

1、測試資料

test_df
    total_bill    tip    smoker    day    time    size    tip_pct
57    26.41    1.50    No    Sat    Dinner    2    0.056797
0    16.99    1.01    No    Sun    Dinner    2    0.059447
48    28.55    2.05    No    Sun    Dinner    3    0.071804
146    18.64    1.36    No    Thur    Lunch    3    0.072961
130    19.08    1.50    No    Thur    Lunch    2    0.078616
237    32.83    1.17    Yes    Sat    Dinner    2    0.035638
102    44.30    2.50    Yes    Sat    Dinner    3    0.056433
187    30.46    2.00    Yes    Sun    Dinner    5    0.065660
210    30.06    2.00    Yes    Sat    Dinner    3    0.066534
240    27.18    2.00    Yes    Sat    Dinner    2    0.073584

2、需求：取出 day 欄位中值不為 ‘Sta’,‘Sun’ 的記錄

test_df[~test_df['day'].str.contains('|'.join(['Sat', 'Sun']))]
    total_bill    tip    smoker    day    time    size    tip_pct
146    18.64    1.36    No    Thur    Lunch    3    0.072961
130    19.08    1.50    No    Thur    Lunch    2    0.078616

總結

到此這篇關於通過5個例子讓你學會Pandas中字串過濾的文章就介紹到這了,更多相關Pandas字串過濾內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！

通過5個例子讓你學會Pandas中的字串過濾

熱門文章