使用selenium+chromedriver+xpath爬取動態載入資訊

#_*_coding:utf-8_*_
# 作者      ：liuxiaowei
# 建立時間   ：2/7/22 6:43 PM
# 檔案      ：獲取京東商品資訊.py
# IDE      ：PyCharm

from selenium import webdriver  # 匯入瀏覽器驅動模組
from selenium.webdriver.support.wait import WebDriverWait  # 匯入等待類
from selenium.webdriver.support import expected_conditions as EC  # 等待條件
from selenium.webdriver.common.by import By                       # 節點定位

#from selenium.webdriver.chrome.service import Service

try:
    # 建立谷歌瀏覽器驅動引數物件
    chrome_options = webdriver.ChromeOptions()
    # 不載入圖片
    prefs = {"profile.managed_default_content_settings.images": 2}
    chrome_options.add_experimental_option("prefs", prefs)
    # 使用headless無介面瀏覽器模式
    chrome_options.add_argument('--headless')
    chrome_options.add_argument('--disable-gpu')
    # 載入谷歌瀏覽器驅動
		driver = webdriver.Chrome(options = chrome_options, executable_path='chromedriver')
    # 請求地址
    driver.get('https://item.jd.com/12353915.html')
    wait = WebDriverWait(driver,10)    # 等待10秒
    # 等待頁面載入class名稱為m-item-inner的節點，該節點中包含商品資訊
    wait.until(EC.presence_of_element_located((By.CLASS_NAME,"w")))

    # 獲取name節點中所有div節點
    name_div1 = driver.find_element(By.XPATH,'//div[@class="sku-name"]')
    name_div2 = driver.find_element(By.XPATH, '//div[@class="news"]/div[@class="item hide"]')
    name_div3 = driver.find_element(By.XPATH, '//div[@class="p-author"]')
    summary_price = driver.find_element(By.XPATH, '//div[@class="summary-price J-summary-price"]')
    print('提取的商品標題如下：')
    print(name_div1.text)         # 列印商品標題
    print('提取的商品宣傳語如下：')
    print(name_div2.text)         # 列印宣傳語
    print('提取的編著資訊如下：')
    print(name_div3.text)         # 列印編著資訊
    print('提取的價格資訊如下：')
    print(summary_price.text.strip('降價通知'))       # 列印價格資訊
    driver.quit()  # 退出瀏覽器驅動
except Exception as e:
    print('顯示異常資訊！', e)

		# 獲取商品資訊節點中的所有div節點
  	name_div = driver.find_element(By.XPATH,'//div[@class="itemInfo-wrap"]').find_elements(By.TAG_NAME, 'div')

    # 提取並輸出單個div節點的內容
    print('提取的商品標題如下：')
    print(name_div[0].text)         # 列印商品標題
    print('提取的商品宣傳語如下：')		 # 列印商品宣傳語
    print(name_div[1].text)    

# 根據XPath定位獲取指定節點中的href地址
href = driver.find_element(By.XPATH, '//div[@id="p-author"]/a').get_attribute('href')
print('指定節點中的地址資訊如下：')

 # 載入谷歌瀏覽器驅動
driver = webdriver.Chrome(options = chrome_options, executable_path='chromedriver')  # 本例驅動與爬蟲程式在同一路																																											徑

driver.close()：關閉當前頁面
driver.quit()：退出整個瀏覽器