Pycharm安裝scrapy及初始化爬蟲專案的完整步驟

2022-08-06 14:00:05

一）安裝scrapy：

1、開啟cmd命令視窗，輸入：pip install Scrapy。

2、安裝成功之後會顯示下面字元，表示未將scrapy設定到環境變數。

3、設定環境變數：右鍵我的電腦-->屬性-->高階設定--->環境變數---->系統變數中的Path--->編輯--->新增--->將上文中黃色的路徑新增到環境變數即可。

4、scrapy安裝完畢。

二）建立一個scrapy爬蟲專案：

1、建立一個普通的Pycharm專案，然後找到下面的terminal

2、輸入命令scrapy startproject 模組名稱(可以自己隨便起，我以名為mine為例)，成功之後你會發現自己的專案中多了一個mine的包檔案。

3、上述操作成功後終端會顯示下圖文字：此時我們輸入cd那條命令。進入目標檔案。

4、這時就可以建立爬蟲目標檔案啦，

輸入scrapy genspider 爬取名網站域名

1、爬取名是自己隨便起的，比如我要爬百度那麼我就可以起名為baidu

2、網站域名就是去掉 https:www. 剩下的部分，以部落格園的為例：

網址為：https://www.cnblogs.com/

域名為 cnblogs.com

2和3操作截圖：

5、此時我們會在目錄裡看見一個新的py檔案：裡自動生成如下程式碼：

三）開啟pycharm對scrapy框架的偵錯功能：

由於pycharm沒有建立scrapy框架的模組，所以我們想偵錯scrapy程式時要自己寫一個小指令碼來開啟pycharm對scrapy的偵錯功能。

1、在與mine包同級條件下建立一個main.py檔案：

2、mine檔案將一下程式碼賦值進去：

import os
import sys
 
from scrapy.cmdline import execute
 
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy", "crawl", "cnblog"])  # 第三個引數為自己建立的那個爬取的名稱

這樣就大功告成啦！

總結

到此這篇關於Pycharm安裝scrapy及初始化爬蟲專案的文章就介紹到這了,更多相關Pycharm安裝scrapy初始化爬蟲專案內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！

Pycharm安裝scrapy及初始化爬蟲專案的完整步驟

目錄

一）安裝scrapy：

二）建立一個scrapy爬蟲專案：

三）開啟pycharm對scrapy框架的偵錯功能：

總結

熱門文章