Python實現抖音熱搜定時爬取功能

2022-03-15 16:02:38

抖音熱搜榜

整個熱榜共50條資料，本次爬取的內容：排名、熱度、標題、連結。

requests 爬取

requests 是一種非常簡單的方法，由於該頁面沒有反爬措施，所以直接get 請求頁面即可。

import requests
import pandas as pd

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.54 Safari/537.36'
}
url = 'https://tophub.today/n/K7GdaMgdQy'
page_text = requests.get(url=url, headers=headers).text
page_text

可以看到，只需要幾行程式碼，資料就很輕鬆地獲取到了。

selenium 爬取

將selenium設定為無頭瀏覽器，開啟指定url獲取頁面資料。

from selenium import webdriver

option = webdriver.ChromeOptions()
option.add_argument('--headless')

driver = webdriver.Chrome(options=option)

url = 'https://tophub.today/n/K7GdaMgdQy'
driver.get(url)

page_text = driver.page_source

兩種爬取方法都能夠成功獲取到資料，但requests相對簡潔，整個程式碼執行速度也更快，如果頁面資料不是動態載入的話，用requests相對方便。

資料解析

現在用lxml庫解析我們爬取的資料，並儲存到excel中。

tree = etree.HTML(page_text)

tr_list = tree.xpath(
    '//*[@id="page"]/div[2]/div[2]/div[1]/div[2]/div/div[1]/table/tbody/tr')

df = pd.DataFrame(columns=['排名', '熱度', '標題', '連結'])
for index, tr in enumerate(tr_list):
    hot = tr.xpath('./td[3]/text()')[0]
    title = tr.xpath('./td[2]/a/text()')[0]
    article_url = tr.xpath('./td[2]/a/@href')[0]
    df = df.append({
        '排名': index + 1,
        '熱度': hot,
        '標題': title,
        '連結': article_url}, ignore_index=True)
df['連結'] = 'https://tophub.today' + df['連結']
df

執行結果