首頁 > 軟體

Pandas Query方法使用深度總結

2022-07-26 14:01:05

大多數 Pandas 使用者都熟悉 iloc[] 和 loc[] 索引器方法,用於從 Pandas DataFrame 中檢索行和列。但是隨著檢索資料的規則變得越來越複雜,這些方法也隨之變得更加複雜而臃腫。

同時 SQL 也是我們經常接觸且較為熟悉的語言,那麼為什麼不使用類似於 SQL 的東西來查詢我們的資料呢

事實證明實際上可以使用 query() 方法做到這一點。因此,在今天的文章中,我們將展示如何使用 query() 方法對資料框執行查詢

獲取資料

我們使用 kaggle 上的 Titanic 資料集作為本文章的測試資料集,下載地址如下:https://www.kaggle.com/datasets/tedllh/titanic-train

當然也可以在文末獲取到蘿蔔哥下載好的資料集

載入資料

下面文末就可以使用 read_csv 來載入資料了

import pandas as pd
df = pd.read_csv('titanic_train.csv')
df

資料集有 891 行和 12 列:

使用 query() 方法

讓我們找出從南安普敦 (‘S’) 出發的所有乘客,可以使用方括號索引,程式碼如下所示:

df[df['Embarked'] == 'S']

如果使用 query() 方法,那麼看起來更整潔:

df.query('Embarked == "S"')

與 SQL 比較,則 query() 方法中的表示式類似於 SQL 中的 WHERE 語句。

結果是一個 DataFrame,其中包含所有從南安普敦出發的乘客:

query() 方法接受字串作為查詢條件串,因此,如果要查詢字串列,則需要確保字串被正確括起來:

很多時候,我們可能希望將變數值傳遞到查詢字串中,可以使用 @ 字元執行此操作:

embarked = 'S'
df.query('Embarked == @embarked')

或者也可以使用 f 字串,如下所示:

df.query(f'Embarked == "{embarked}"')

就個人而言,我認為與 f-string 方式相比,使用 @ 字元更簡單、更優雅,你認為呢

如果列名中有空格,可以使用反引號 (``) 將列名括起來:

df.query('`Embarked On` == @embarked')

以 In-place 的方式執行 query 方法

當使用 query() 方法執行查詢時,該方法將結果作為 DataFrame 返回,原始 DataFrame 保持不變。如果要更新原始 DataFrame,需要使用 inplace 引數,如下所示:

df.query('Embarked == "S"', inplace=True)

當 inplace 設定為 True 時,query() 方法將不會返回任何值,原始 DataFrame 被修改。

指定多個條件查詢

我們可以在查詢中指定多個條件,例如假設我想獲取所有從南安普敦 (‘S’) 或瑟堡 (‘C’) 出發的乘客。如果使用方括號索引,這種語法很快變得非常笨拙:

df[(df['Embarked'] == 'S') | (df['Embarked'] == 'C')]

我們注意到,在這裡我們需要在查詢的條件下參照 DataFrame 兩次,而使用 query() 方法,就簡潔多了:

df.query('Embarked in ("S","C")')

查詢結果如下

如果要查詢所有不是從南安普敦(‘S’)或瑟堡(‘C’)出發的乘客,可以在 Pandas 中使用否定運運算元 (~):

df[~((df['Embarked'] == 'S') | (df['Embarked'] == 'C'))]

使用 query() 方法,只需要使用 not 運運算元:

df.query('Embarked not in ("S","C")')

以下輸出顯示了從皇后鎮 (‘Q’) 出發的乘客以及缺失值的乘客:

說到缺失值,該怎麼查詢缺失值呢,當應用於列名時,我們可以使用 isnull() 方法查詢缺失值:

df.query('Embarked.isnull()')

現在將顯示 Embarked 列中缺少值的行:

其實可以直接在列名上呼叫各種 Series 方法:

df.query('Name.str.len() < 20')  # find passengers whose name is 
                                 # less than 20 characters
df.query(f'Ticket.str.startswith("A")') # find all passengers whose 
                                        # ticket starts with A

比較數值列

我們還可以輕鬆比較數位列:

df.query('Fare > 50')

以下輸出顯示了票價大於 50 的所有行:

比較多個列

還可以使用 and、or 和 not 運運算元比較多個列,以下語句檢索 Fare 大於 50 和 Age 大於 30 的所有行:

df.query('Fare > 50 and Age > 30')

下面是查詢結果

查詢索引

通常當我們想根據索引值檢索行時,可以使用 loc[] 索引器,如下所示:

df.loc[[1],:]  # get the row whose index is 1; return as a dataframe

但是使用 query() 方法,使得事情變得更加直觀:

df.query('index==1')

結果如下

如果要檢索索引值小於 5 的所有行:

df.query('index<5')

結果如下

我們還可以指定索引值的範圍:

df.query('6 <= index < 20')

結果如下

比較多列

我們還可以比較列之間的值,例如以下語句檢索 Parch 值大於 SibSp 值的所有行:

df.query('Parch > SibSp')

結果如下

總結

從上面的範例可以看出,query() 方法使搜尋行的語法更加自然簡潔,希望感興趣的小夥伴多加練習,真正的達到融會貫通的地步哦~

到此這篇關於Pandas Query方法使用深度總結的文章就介紹到這了,更多相關Pandas Query方法內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!


IT145.com E-mail:sddin#qq.com