python爬取全國火鍋店數量並視覺化展示

2022-05-18 13:00:50

一、網頁分析

首先先看一下資料來源，在某度地圖裡面按照下方操作，就可以請求到全國的火鍋店情況（從下圖來看沒有顯示出來，但是通過Network，可以看到資料）

再network中，找到下面這個封包：

開啟之後可以看到json資料：

二、獲取資料

對網頁分析好之後，接下來可以藉助Python技術進行獲取資料，並儲存到excel中。

1.匯入相關庫

import json
import requests
import openpyxl

2.請求資料

下面開始編寫請求資料程式碼（請求時記得帶上headers）

###請求頭
headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.90 Safari/537.36",
        'Referer':'https://map.baidu.com/@12949550.923158279,3712445.9716704674,6.28z',
        "Cookie":";"你的cookie",
}
##請求連結
url = "https://map.baidu.com/?newmap=1&reqflag=pcmap&biz=1&from=webmap&da_par=direct&pcevaname=pc4.1&qt=s&da_src=searchBox.button&wd=%E7%81%AB%E9%94%85%E5%BA%97&c=1&src=0&wd2=&pn=0&sug=0&l=6&b=(10637065.476146251,2368134.592189369;12772445.910805061,5056757.351151566)&from=webmap&biz_forward={%22scaler%22:1,%22styles%22:%22pl%22}&sug_forward=&auth=NTSwAZUMzIaTTdWD4WAv0731cWF3MQEauxLxREHzERRtykiOxAXXw1GgvPUDZYOYIZuVt1cv3uVtGccZcuVtPWv3GuztQZ3wWvUvhgMZSguxzBEHLNRTVtcEWe1GD8zv7ucvY1SGpuxVthgW1aDeuxtf0wd0vyMySFIAFM7ueh33uTtAffbDF&seckey=c6d9c7e05d7e627c56ed46fab5d7c5c792064779599d5e12b955a6f18a1204375d1588206c94d22e4bdd1ade0ad06e78c21917e24c6223b96bc51b75ca38651a1b203a0609f126163c5e82fd0549a068e537303424837ab798acfc9088e5d76a66451c20ebd9599b41c9b4f1371850d20fa442ad464712f54c912422f4fa20b3052f8bb810f30d41c7c0e55af68f9d9d973537f03d0aa0a1d1617d78cae29b49c64c2d2dc3f44cf0f8799234b124a7a2dec18bfa011e097e31a508eae37b8603f97df8f935f04b3652f190eac52d04816f302a582c53971e515ff2e0e2b4cc30446e0bee48d51c4be8b6fe4185589ed9&device_ratio=1&tn=B_NORMAL_MAP&nn=0&u_loc=12677548,2604239&ie=utf-8&t=1618452491622"
###響應資料
response = requests.get(url,headers=headers).json()

這裡的cookie可以在瀏覽器network中複製即可。

通過返回的json資料可知道，我們的目標資料在more_city中，裡面是列表資料是省份（provice是省份名稱，num是火鍋店數量），緊接著每一個省份裡都有city（列表），裡面是對應著省份的城市（name是城市名稱，num是對應城市火鍋店數量）

response = response['more_city']
for i in response:
    city = i['city']
    print(i['province'])
    print(i['num'])
    for j in city:
        print(j['name'])
        print(j['num'])

3.儲存到excel

省份和城市分別儲存到兩個不同的excel中

outwb_p = openpyxl.Workbook()
outws_p = outwb_p.create_sheet(index=0)
outws_p.cell(row=1, column=1, value="省份")
outws_p.cell(row=1, column=2, value="數量")
outwb_c = openpyxl.Workbook()
outws_c = outwb_c.create_sheet(index=0)
outws_c.cell(row=1, column=1, value="城市")
outws_c.cell(row=1, column=2, value="數量")
##################
###在迴圈中寫入資料
##################
### 儲存全國省份火鍋數量-李運辰」
outwb_p.save("全國省份火鍋數量-李運辰.xls")  # 儲存
### 儲存全國城市火鍋數量-李運辰」
outwb_c.save("全國城市火鍋數量-李運辰.xls")  # 儲存

三、資料視覺化

1.全國火鍋店數量分佈

datafile = u'全國省份火鍋數量-李運辰.xls'
data = pd.read_excel(datafile)
attr = data['省份'].tolist()
value = data['數量'].tolist()
name = []
for i in attr:
    if "省" in i:
        name.append(i.replace("省",""))
    else:
        name.append(i)
from pyecharts import options as opts
from pyecharts.charts import Map
from pyecharts.faker import Faker
c = (
    Map()
        .add("數量", [list(z) for z in zip(name, value)], "china")
        .set_global_opts(title_opts=opts.TitleOpts(title="全國火鍋店數量分佈情況"))
        .render("全國火鍋店數量分佈情況.html")
)

還可以這樣畫：

datafile = u'全國省份火鍋數量-李運辰.xls'
df = pd.read_excel(datafile)
province_distribution = df[['省份', '數量']].values.tolist()
geo = Geo()
geo.set_series_opts(label_opts=opts.LabelOpts(is_show=False))
geo.add_schema(maptype="china")
geo.set_global_opts(visualmap_opts=opts.VisualMapOpts(max_=110000))
# 加入資料
geo.add('全國火鍋店數量分佈情況圖2', province_distribution, type_=ChartType.EFFECT_SCATTER)
geo.render("全國火鍋店數量分佈情況圖2.html")

2.四川火鍋店數量分佈

為了繪製城市的分佈圖，選擇了四川省為例進行繪製（如果要繪製全國的所有城市，那樣出來的圖密密麻麻，不美觀）

datafile = u'全國城市火鍋數量-李運辰.xls'
data = pd.read_excel(datafile)
city = data['城市'].tolist()
values2 = data['數量'].tolist()
###四川
name = []
value = []
flag = 0
for i in range(0,len(city)):
    if city[i] =="綿陽市":
        flag = 1
    if flag:
        name.append(city[i])
        value.append(int(values2[i]))
 
 
    if city[i] =="甘孜藏族自治州":
        name.append(city[i])
        value.append(int(values2[i]))
        break
c = (
    Map()
        .add("四川火鍋店數量分佈", [list(z) for z in zip(name, value)], "四川")
        .set_global_opts(
        title_opts=opts.TitleOpts(title="四川火鍋店數量分佈"), visualmap_opts=opts.VisualMapOpts()
    )
        .render("四川火鍋店數量分佈.html")
)