一次性徹底講透Python中pd.concat與pd.merge

2022-06-15 10:00:27

資料的合併與關聯是資料處理過程中經常遇到的問題，在SQL、HQL中大家可能都有用到 join、uion all 等，在 Pandas 中也有同樣的功能，來滿足資料處理需求，個人感覺 Pandas 處理資料還是非常方便，資料處理效率比較高，能滿足不同的業務需求

資料拼接：pd.concat

concat 是pandas級的函數，用來拼接或合併資料，其根據不同的軸既可以橫向拼接，又可以縱向拼接

函數引數

pd.concat(
    objs: 'Iterable[NDFrame] | Mapping[Hashable, NDFrame]',
    axis=0,
    join='outer',
    ignore_index: 'bool' = False,
    keys=None,
    levels=None,
    names=None,
    verify_integrity: 'bool' = False,
    sort: 'bool' = False,
    copy: 'bool' = True,
) -> 'FrameOrSeriesUnion'

objs：合併的資料集，一般用列表傳入，例如：[df1,df2,df3]
axis：指定資料拼接時的軸，0是行，在行方向上拼接；1是列，在列方向上拼接
join：拼接的方式有 inner，或者outer，與sql中的意思一樣

以上三個引數在實際工作中經常使用，其他引數不再做介紹

案例：

模擬資料

橫向拼接

橫向拼接-1

欄位相同的列進行堆疊，欄位不同的列分列存放，缺失值用NAN來填充，下面對模擬資料進行變換用相同的欄位，進行演示

橫向拼接-2

縱向拼接

縱向拼接

可以看出在縱向拼接的時候，會按索引進行關聯，使相同名字的成績放在一起，而不是簡單的堆疊

資料關聯:pd.merge

資料關聯與SQL中的join基本一樣，一次可以關聯兩個資料表，有左表、右表的區分，需要可以指定關聯的欄位

函數引數

pd.merge(
    left: 'DataFrame | Series',
    right: 'DataFrame | Series',
    how: 'str' = 'inner',
    on: 'IndexLabel | None' = None,
    left_on: 'IndexLabel | None' = None,
    right_on: 'IndexLabel | None' = None,
    left_index: 'bool' = False,
    right_index: 'bool' = False,
    sort: 'bool' = False,
    suffixes: 'Suffixes' = ('_x', '_y'),
    copy: 'bool' = True,
    indicator: 'bool' = False,
    validate: 'str | None' = None,
) -> 'DataFrame'