Python利用selenium建立代理ip池存取網站的全過程

2022-03-10 13:00:55

一、使用selenium前？

1.安裝selenium

pip install Selenium

2.安裝瀏覽器驅動

Chrome驅動檔案下載：點選下載

3.設定環境

1.將下載檔案放進C:Program Files (x86)GoogleChromeApplication下就可以

2.然後設定下系統變數:我的電腦–>屬性–>系統設定–>高階–>環境變數–>系統變數–>Path，將“C:Program Files (x86)GoogleChromeApplication”目錄新增到Path的值中。

注:之後如果程式碼不能調起瀏覽器,重啟電腦,再執行!!!

二、使用selenium

1.引入庫

程式碼如下（範例）：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

2.完整程式碼

如果有多個代理ip可迴圈使用,防止被禁機率

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
#以下ip使用自己可使用的代理IP
proxy_arr = [
     '--proxy-server=http://171.35.141.103:9999',
     '--proxy-server=http://36.248.132.196:9999',
     # '--proxy-server=http://125.46.0.62:53281',
     '--proxy-server=http://219.239.142.253:3128',
     '--proxy-server=http://119.57.156.90:53281',
     '--proxy-server=http://60.205.132.71:80',
     '--proxy-server=https://139.217.110.76:3128',
     '--proxy-server=https://116.196.85.150:3128'
 ]

chrome_options = Options()
proxy = random.choice(proxy_arr)  # 隨機選擇一個代理
print(proxy) #如果某個代理存取失敗,可從proxy_arr中去除
chrome_options.add_argument(proxy)  # 新增代理
browser = webdriver.Chrome(options=chrome_options)
browser.get("http://httpbin.org/ip")
print(browser.page_source)

程式碼如下（範例）：