Pandas讀存JSON資料操作範例詳解

2022-08-22 18:00:39

引言

本文介紹的如何使用Pandas來讀取各種json格式的資料，以及對json資料的儲存

讀取json資料

使用的是pd.read_json函數，見官網：pandas.pydata.org/docs/refere…

pandas.read_json(
  path_or_buf=None,  # 檔案路徑
  orient=None,  # 取值：split、records、index、columns、values
  typ='frame',   # 要恢復的物件型別（系列或框架），預設'框架'.
  dtype=None, # boolean或dict，預設為True
  convert_axes=None,
  convert_dates=True,
  keep_default_dates=True,
  numpy=False,
  precise_float=False,
  date_unit=None,
  encoding=None,  # 編碼
  lines=False,  # 布林值，預設為False，每行讀取該檔案作為json物件
  chunksize=None,  # 分塊讀取大小
  compression='infer',
  nrows=None,
  storage_options=None)

模擬資料

模擬了一份資料，vscode開啟內容：

可以看到預設情況下的讀取效果：

主要有下面幾個特點：

第一層級字典的鍵當做了DataFrame的欄位
第二層級的鍵預設當做了行索引

下面重點解釋下引數orident

引數orident

取值可以是：split、records、index、columns、values

orident="split"

json檔案的key的名字只能為index,cloumns,data；不多也不能少。

split' : dict like {index -&gt; [index], columns -&gt; [columns], data -&gt; [values]}

In [3]:

data1 = '{"index":[1,2],"columns":["name","age"],"data":[["xiaoming",28], ["zhouhong",20]]}'

In [4]:

df1 = pd.read_json(data1, orient="split")
df1

結果表明：

index：當做行索引
columns：列名
data：具體的取值

如果我們改變其中一個key，比如data換成information就報錯了：

orient="records"

當orient="records"的時候，資料是以欄位 + 取值的形式存放的。

‘records' : list like [{column -&gt; value}, … , {column -&gt; value}]

In [7]:

data2 = '[{"name":"Peter","sex":"male","age":20},{"name":"Tom","age":27},{"sex":"male"}]'

In [8]:

df2 = pd.read_json(data2, orient="records")
df2

生成資料的特點：

列表中元素是以字典的形式存放
列表中每個元素（字典）的key，如果沒有出現則取值為NaN

orient="index"

當orient="index"的時候，資料是以行的形式來儲存。

dict like {index -&gt; {column -&gt; value}}

In [9]:

data3 = '{"id1":{"name":"Mike","age":20,"sex":"male","score":80},"id2":{"name":"Jack","sex":"female","score":90}}'

In [10]:

df3 = pd.read_json(data3, orient="index")
df3

每個id存放一條資料
未出現的key取值為NaN

orient="columns"

在這種情況下資料是以列的形式來儲存的。

dict like {column -&gt; {index -&gt; value}}

In [11]:

data4 = '{"sex":{"id1":"Peter","id2":"Tom","id3":"Jimmy"},"age":{"id1": 20,"id3":28}}'

In [12]:

df4 = pd.read_json(data4, orient="columns")
df4

如果我們對上面的結果實施轉置（兩種方法）：

我們會發現這個結果和orient="index"的讀取結果是相同的：

orient="values"

在這種情況下，資料是以陣列的形式存在的：

‘values' : just the values array

In [16]:

data5 = '[["深圳",2000],["廣州",1900],["北京",2500]]'

In [17]:

df5 = pd.read_json(data5, orient="values")
df5

對生成的列名進行重新命名：

to_json

將DataFrame資料儲存成json格式的檔案

DataFrame.to_json(path_or_buf=None,  # 路徑
                  orient=None, # 轉換型別
                  date_format=None, # 日期轉換型別
                  double_precision=10,  # 小數保留精度
                  force_ascii=True, # 是否顯示中文
                  date_unit='ms', # 日期顯示最小單位
                  default_handler=None, 
                  lines=False, 
                  compression='infer', 
                  index=True, # 是否保留行索引
                  indent=None, # 空格數
                  storage_options=None)

官網學習地址：

pandas.pydata.org/docs/refere…

1、預設儲存

df.to_json("df_to_json_1.json", force_ascii=True)  # 不顯示中文

顯示結果為一行資料，且存在unicode編碼，中文無法顯示：

{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"u6df1u5733","Tom":"u4e0au6d77","Jack":"u5317u4eac","Mike":"u5e7fu5dde"}}

2、顯示中文

df.to_json("df_to_json_2.json", force_ascii=False)  # 顯示中文

中文能夠正常顯示：

{"sex":{"Jimmy":"male","Tom":"female","Jack":"male","Mike":"female"},"age":{"Jimmy":20,"Tom":18,"Jack":29,"Mike":26},"height":{"Jimmy":187,"Tom":167,"Jack":178,"Mike":162},"address":{"Jimmy":"深圳","Tom":"上海","Jack":"北京","Mike":"廣州"}}

3、不同的orient顯示 + 換行（indent引數）

df.to_json("df_to_json_3.json", force_ascii=False, orient="index",indent=4) 
# index + 換行

顯示結果中鍵為name資訊：

4、改變index

df.to_json("df_to_json_4.json", force_ascii=False, orient="columns",indent=4)   # columns + 換行

以上就是Pandas讀存JSON資料操作範例詳解的詳細內容，更多關於Pandas讀存JSON資料的資料請關注it145.com其它相關文章！