Python Pandas資料合併pd.merge用法詳解

2022-08-26 18:03:06

前言

實現類似SQL的join操作，通過pd.merge()方法可以自由靈活地操作各種邏輯的資料連線、合併等操作

可以將兩個DataFrame或Series合併，最終返回一個合併後的DataFrame

語法

pd.merge(left, right, how = ‘inner', on = None, left_on = None, right_on = None,
         left_index = False, right_index = False, sort = True, suffixes = (‘_x','_y'),
         copy = True, indicator = False, validate = None)

引數

left、right:需要連線的兩個DataFrame或Series，一左一右

how:兩個資料連線方式，預設為inner，可設定inner、outer、left或right

on:作為連線鍵的欄位，左右資料中都必須存在，否則需要用left_on和right_on來指定

left_on:左表的連線鍵欄位

right_on:右表的連線鍵欄位

left_index:為True時將左表的索引作為連線鍵，預設為False

right_index:為True時將右表的索引作為連線鍵，預設為False

suffixes:如果左右資料出現重複列，新資料表頭會用此字尾進行區分，預設為_x和_y

1.連線鍵

在資料連線時，如果沒有指定根據哪一列(連線鍵)進行連線，Pandas會自動找到相同列名的列進行連線，並按左邊資料的順序取交集資料。為了程式碼的可閱讀性和嚴謹性，推薦通過on引數指定連線鍵

import pandas as pd
df1 = pd.DataFrame({'a':[1,2],'b':[5,6]})
df2 = pd.DataFrame({'a':[2,1,0],'y':[6,7,8]})
# 按a列進行連線，資料順序取df1的順序
res = pd.merge(df1, df2, on='a')

結果展示

df1

df2

res

2.索引連線

可以直接按索引進行連線，將left_index和right_index設定為True,會以兩個表的索引作為連線鍵

import pandas as pd
df1 = pd.DataFrame({'a':[1,2],'b':[5,6]})
df2 = pd.DataFrame({'a':[2,1,0],'y':[6,7,8]})
# 兩個表都有同名的a列，用suffixes引數設定字尾來區分
res = pd.merge(df1, df2, left_index=True, right_index=True, suffixes=('_1','_2'))

結果展示

df1

df2

res

3.多連線鍵

如果在合併資料時需要用多個連線鍵，可以以列表的形式將這些連線鍵傳入on中

import pandas as pd
df3 = pd.DataFrame({'a':[1,2],'b':[3,4],'x':[5,6]})
df4 = pd.DataFrame({'a':[1,2,3],'b':[3,4,5],'y':[6,7,8]})
# a和b列中的(1,3)和(2,4)作為連線鍵將兩個資料進行了連線
res = pd.merge(df3, df4, on=['a','b'])

結果展示

df3

df4

res

4.連線方法

how引數可以指定資料用哪種方法進行合併，可以設定inner、outer、left或right

預設的方式是inner join，取交集，也就是保留左右表的共同內容;如果是left join，左邊表中所有的內容都會保留;如果是right join，右表全部保留;如果是outer join，則左右表全部保留。關聯不上的內容為NaN

import pandas as pd
df3 = pd.DataFrame({'a':[1,2],'b':[3,4],'x':[5,6]})
df4 = pd.DataFrame({'a':[1,2,3],'b':[3,4,5],'y':[6,7,8]})
 
# 以左表為基表
res1 = pd.merge(df3, df4, how='left', on=['a','b'])
 
# 以右表為基表
res2 = pd.merge(df3, df4, how='right', on=['a','b'])

結果展示

df3

df4

res1

res2

以下是其他的案例:

import pandas as pd
df3 = pd.DataFrame({'a':[1,2],'b':[3,4],'x':[5,6]})
df4 = pd.DataFrame({'a':[1,2,3],'b':[3,4,5],'y':[6,7,8]})
# 取兩個表的並集
# pd.merge(left, right, how='outer', on=['key1','key2'])
res3 = pd.merge(df3, df4, how='outer', on=['a','b'])
# 取兩個表的交集
# pd.merge(left, right, how='inner', on=['key1','key2'])
res4 = pd.merge(df3, df4, how='inner', on=['a','b'])

結果展示

df3

df4

res3

res4

一個有重複連線鍵的例子

import pandas as pd
left = pd.DataFrame({'A':[1,2],'B':[2,2]})
right = pd.DataFrame({'A':[4,5,6],'B':[2,2,2]})
res = pd.merge(left, right, on='B', how='outer')
res1 = pd.merge(left, right, on='B')
res2 = pd.merge(left, right, how='outer')

結果展示

left

right

res

res1

res2

5.連線指示

如果想知道資料連線後是左表內容還是右表內容，可以使用indicator引數顯示連線方式

如果將indicator設定為True,則會增加名為_merge的列，顯示這列是從何而來

_merge有以下三個值:

left_only:只在左表中
right_only:只在右表中
both:兩個表都有

import pandas as pd
df1 = pd.DataFrame({'a':[1,2],'b':[5,6]})
df2 = pd.DataFrame({'a':[2,1,0],'y':[6,7,8]})
 
# 顯示連線指示列
res = pd.merge(df1, df2, on='a', how='outer', indicator=True)

結果展示

df1