首頁 > 軟體

在linux系統下部署selenium爬蟲程式介紹

2021-11-25 19:02:18

前言

我這裡是工作需要把selenium 爬蟲程式部署到Linux 伺服器上面 順便跟大家交流一下 如果有興趣的話可以看一下


一、selenium是什麼?

Selenium是一個用於Web應用程式測試的工具。Selenium測試直接執行在瀏覽器中,就像真正的使用者在操作一樣, 爬蟲用它來抓取一些js動態載入的資料

二、使用步驟

1.引入庫

程式碼如下

from selenium.webdriver import Chrome
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options  # 使用無頭瀏覽器
from selenium.webdriver import ChromeOptions
chrome_options = Options()
options = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) # =>去掉瀏覽器正在受到自動測試軟體的控制
options.add_experimental_option('useAutomationExtension', False)
chrome_options.add_argument("--headless")  # => 為Chrome設定無頭模式
chrome_options.add_argument('--no-sandbox')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')

2.測試程式碼

程式碼如下:

s = Service(r"/home/driver/chromedriver")
driver = Chrome(
     service=s, options=chrome_options
 )
 driver.get("https://www.baidu.com")
 print(diiver.title)

三、部署程式

1.安裝chrome

命令如下:

yum install https://dl.google.com/linux/direct/google-chrome-stable_current_x86_64.rpm
檢查chrome的版本
google-chrome --version

2.安裝chromedriver驅動

命令如下:

按照對應的chrome版本下載chromedriver驅動
地址: https://npm.taobao.org/mirrors/chromedriver
我的版本號是: 96.0.4664.45
wget https://npm.taobao.org/mirrors/chromedriver/96.0.4664.45/chromedriver_linux64.zip 
yum install -y unzip zip
unzip chromedriver_linux64.zip # 解壓zip檔案
mkdir driver #新建資料夾用來存放驅動
chmod 777 driver/chromedriver # 這是許可權 我這裡給的是 777

3.執行測試程式碼

新建test.py檔案

vi test.py

儲存 test.py run 一下看看

看到這個我麼就算請求成功了

總結

到此這篇關於在linux系統下部署selenium爬蟲程式介紹的文章就介紹到這了,更多相關linux selenium爬蟲程式內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!


IT145.com E-mail:sddin#qq.com