Python對口紅進行資料分析來選定情人節禮物

2022-02-14 19:00:34

前言：

情人節、三八女神節、520、七夕節、聖誕節、元旦、生日、新年、各種紀念日……這些節日，對於每一個有女朋友的男同胞們來說都存在一個困惑的問題：送女朋友什麼禮物好？

其實送禮物這件事，說難也不難，但也絕不是一件簡單的事兒hhh～

送對了感情升溫，送錯了讓你恢復單身！

但只要在挑選禮物的時候記得以下這幾點，想要踩雷都很難了。

1.符合對方的審美，平時多留意一下女朋友喜歡什麼東西。

2.顏值即正義，女孩子都是顏值動物，像我自己平時挑個拖鞋選個水杯，都要高顏值的，可愛的，高階感的…

3.禮物要有儀式感，比如包裝得很精美的花、自己新手做的禮盒、好看又實用剛好又是對方需要的東西。

4.在能力範圍內送合適的禮物，禮物不一定要貴，有意義有心意最重要。

接下來就可以拿著這一份挑口紅的功課去給女朋友挑禮物啦，保證不會踩雷，送給女孩子絕對不會錯~

準備工作

驅動安裝

實現案例之前，我們要先安裝一個谷歌驅動，因為我們是使用selenium 操控谷歌驅動，然後操控瀏覽器實現自動操作的，模擬人的行為去操作瀏覽器。

以谷歌瀏覽器為例，開啟瀏覽器看下我們自己的版本，然後下載跟自己瀏覽器版本一樣或者最相近的版本，下載後解壓一下，把解壓好的外掛放到我們的python環境裡面，或者和程式碼放到一起也可以。

模組使用與介紹

selenium pip install selenium ，直接輸入selenium的話是預設安裝最新的，selenium後面加上版本號就是安裝對應的的版本；
csv 內建模組，不需要安裝，把資料儲存到Excel表格用的；
time 內建模組，不需要安裝，時間模組，主要用於延時等待；

流程解析

我們存取一個網站，要輸入一個網址，所以程式碼也是這麼寫的。

首先匯入模組

from selenium import webdriver

檔名或者包名不要命名為selenium，會導致無法匯入。 webdriver可以認為是瀏覽器的驅動器，要驅動瀏覽器必須用到webdriver，支援多種瀏覽器。

範例化瀏覽器物件，我這裡用的是谷歌，建議大家用谷歌，方便一點。

driver = webdriver.Chrome()

我們用get存取一個網址，自動開啟網址。

driver.get('https://www.jd.com/')

執行一下

開啟網址後，以買口紅為例。

我們首先要通過你想購買的商品關鍵字來搜尋得到商品資訊，用搜尋結果去獲取資訊。

那我們也要寫一個輸入，空白處點選右鍵，選擇檢查。選擇element 元素面板

滑鼠點選左邊的箭頭按鈕，去點選搜尋方塊，它就會直接定位到搜尋標籤。在標籤上點選右鍵，選擇copy，選擇copy selector 。如果你是xpath ，就copy它的xpath 。然後把我們想要搜尋的內容寫出來

driver.find_element_by_css_selector('#key').send_keys('口紅')

再執行的時候，它就會自動開啟瀏覽器進入目標網址搜尋口紅。

同樣的方法，找到搜尋按鈕進行點選。

driver.find_element_by_css_selector('.button').click()

再執行就會自動點選搜尋了，頁面搜尋出來了，那麼咱們正常瀏覽網頁是要下拉網頁對吧，咱們讓它自動下拉就好了。先匯入time模組

import time

執行頁面捲動的操作

def drop_down():
    """執行頁面捲動的操作"""  # javascript
    for x in range(1, 12, 2):  # for迴圈下拉次數，取1 3 5 7 9 11， 在你不斷的下拉過程中, 頁面高度也會變的；
        time.sleep(1)
        j = x / 9  # 1/9  3/9  5/9  9/9
        # document.documentElement.scrollTop  指定卷軸的位置
        # document.documentElement.scrollHeight 獲取瀏覽器頁面的最大高度
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
        driver.execute_script(js)  # 執行我們JS程式碼

迴圈寫好了，然後呼叫一下。

drop_down()

我們再給它來個延時

driver.implicitly_wait(10)

這是一個隱式等待，等待網頁延時，網不好的話載入很慢。

隱式等待不是必須等十秒，在十秒內你的網路載入好後，它隨時會載入，十秒後沒載入出來的話才會強行載入。

還有另外一種死等的，你寫的幾秒就等幾秒，相對沒有那麼人性化。

time.sleep(10)

載入完資料後我們需要去找商品資料來源

價格/標題/評價/封面/店鋪等等

還是滑鼠右鍵點選檢查，在element ，點選小箭頭去點選你想檢視的資料。

可以看到都在li標籤裡面獲取所有的 li 標籤內容，還是一樣的，直接copy 。在左下角就有了這裡表示的是取的第一個，但是我們是要獲取所有的標籤，所以左邊框框裡 li 後面的可以刪掉不要。不要的話，可以看到這裡是60個商品資料，一頁是60個。所以我們把剩下的複製過來, 用lis接收一下。

lis = driver.find_elements_by_css_selector('#J_goodsList ul li')

因為我們是獲取所有的標籤資料，所以比之前多了一個s

列印一下

print(lis)

通過lis返回資料列表 [] 列表裡面的元素 <> 物件

遍歷一下，把所有的元素拿出來。

for li in lis:
 
    title = li.find_element_by_css_selector('.p-name em').text.replace('n', '')  # 商品標題 獲取標籤文字資料
    price = li.find_element_by_css_selector('.p-price strong i').text  # 價格
    commit = li.find_element_by_css_selector('.p-commit strong a').text  # 評論量
    shop_name = li.find_element_by_css_selector('.J_im_icon a').text  # 店鋪名字
    href = li.find_element_by_css_selector('.p-img a').get_attribute('href')  # 商品詳情頁
    icons = li.find_elements_by_css_selector('.p-icons i')
    icon = ','.join([i.text for i in icons])  # 列表推導式  ','.join 以逗號把列表中的元素拼接成一個字串資料
    dit = {
        '商品標題': title,
        '商品價格': price,
        '評論量': commit,
        '店鋪名字': shop_name,
        '標籤': icon,
        '商品詳情頁': href,
    }
    csv_writer.writerow(dit)
    print(title, price, commit, href, icon, sep=' | ')

搜尋功能

key_world = input('請輸入你想要獲取商品資料: ')

要獲取的資料，獲取到後儲存CSV

f = open(f'京東{key_world}商品資料.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '商品標題',
    '商品價格',
    '評論量',
    '店鋪名字',
    '標籤',
    '商品詳情頁',
])
csv_writer.writeheader()

然後再寫一個自動翻頁

for page in range(1, 11):
    print(f'正在爬取第{page}頁的資料內容')
    time.sleep(1)
    drop_down()
    get_shop_info()  # 下載資料
    driver.find_element_by_css_selector('.pn-next').click()  # 點選下一頁

完整程式碼

from selenium import webdriver
import time
import csv
 
 
def drop_down():
    """執行頁面捲動的操作"""  
    for x in range(1, 12, 2):  
        time.sleep(1)
        j = x / 9  # 1/9  3/9  5/9  9/9
        # document.documentElement.scrollTop  指定卷軸的位置
        # document.documentElement.scrollHeight 獲取瀏覽器頁面的最大高度
        js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
        driver.execute_script(js)  # 執行JS程式碼
 
 
key_world = input('請輸入你想要獲取商品資料: ')
 
f = open(f'京東{key_world}商品資料.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
    '商品標題',
    '商品價格',
    '評論量',
    '店鋪名字',
    '標籤',
    '商品詳情頁',
])
csv_writer.writeheader()
 
# 範例化一個瀏覽器物件
 
driver = webdriver.Chrome()
driver.get('https://www.jd.com/')  # 存取一個網址 開啟瀏覽器 開啟網址
# 通過css語法在element(元素面板)裡面查詢 #key 某個標籤資料 輸入一個關鍵詞 口紅
driver.find_element_by_css_selector('#key').send_keys(key_world)  # 找到輸入框標籤
driver.find_element_by_css_selector('.button').click()  # 找到搜尋按鈕 進行點選
# time.sleep(10) # 等待 
# driver.implicitly_wait(10)  # 隱式等待 
 
def get_shop_info():
    # 第一步 獲取所有的li標籤內容
    driver.implicitly_wait(10)
    lis = driver.find_elements_by_css_selector('#J_goodsList ul li')  # 獲取多個標籤
    # 返回資料 列表 [] 列表裡面的元素 <> 物件
    # print(len(lis))
    for li in lis:
 
        title = li.find_element_by_css_selector('.p-name em').text.replace('n', '')  # 商品標題 獲取標籤文字資料
        price = li.find_element_by_css_selector('.p-price strong i').text  # 價格
        commit = li.find_element_by_css_selector('.p-commit strong a').text  # 評論量
        shop_name = li.find_element_by_css_selector('.J_im_icon a').text  # 店鋪名字
        href = li.find_element_by_css_selector('.p-img a').get_attribute('href')  # 商品詳情頁
        icons = li.find_elements_by_css_selector('.p-icons i')
        icon = ','.join([i.text for i in icons])  # 列表推導式  ','.join 以逗號把列表中的元素拼接成一個字串資料
        dit = {
            '商品標題': title,
            '商品價格': price,
            '評論量': commit,
            '店鋪名字': shop_name,
            '標籤': icon,
            '商品詳情頁': href,
        }
        csv_writer.writerow(dit)
        print(title, price, commit, href, icon, sep=' | ')
        # print(href)
 
 
for page in range(1, 11):
    print(f'正在爬取第{page}頁的資料內容')
    time.sleep(1)
    drop_down()
    get_shop_info()  # 下載資料
    driver.find_element_by_css_selector('.pn-next').click()  # 點選下一頁
 
driver.quit()  # 關閉瀏覽器