Python中Scrapy框架的入門教學分享

2023-03-11 06:01:14

前言

Scrapy是一個基於Python的Web爬蟲框架，可以快速方便地從網際網路上獲取資料並進行處理。它的設計思想是基於Twisted非同步網路框架，可以同時處理多個請求，並且可以使用多種處理資料的方式，如提取資料、儲存資料等。

本教學將介紹如何使用Scrapy框架來編寫一個簡單的爬蟲，從而讓您瞭解Scrapy框架的基本使用方法。

安裝Scrapy

首先，您需要在您的計算機上安裝Scrapy框架。您可以使用以下命令來安裝：

pip install scrapy

建立一個Scrapy專案

在安裝完Scrapy後，您可以使用以下命令來建立一個Scrapy專案：

scrapy startproject <project_name>

其中，<project_name>是您的專案名稱，可以自定義。執行該命令後，Scrapy將在當前目錄下建立一個新的資料夾，資料夾名稱為您指定的專案名稱。

在建立專案後，您將看到以下檔案和資料夾：

project_name/
scrapy.cfg
project_name/
__init__.py
items.py
middlewares.py
pipelines.py
settings.py
spiders/
__init__.py

scrapy.cfg：Scrapy專案的組態檔。
project_name/：專案的Python模組，您將編寫大部分的程式碼在這裡。
project_name/items.py：用於定義您要提取的資料項（即所謂的item）的Python模組。
project_name/middlewares.py：中介軟體，用於修改請求和響應，以及進行其他處理。
project_name/pipelines.py：用於定義資料的處理方式，如儲存到資料庫、輸出到檔案等。
project_name/settings.py：用於儲存Scrapy專案的各種設定資訊。
project_name/spiders/：用於儲存您編寫的爬蟲程式碼的目錄。

建立一個爬蟲

接下來，我們將建立一個爬蟲。您可以使用以下命令來建立一個爬蟲：

cd project_name
scrapy genspider <spider_name> <start_url>

其中，<spider_name>是您的爬蟲名稱，<start_url>是您的爬蟲開始爬取的URL。執行該命令後，Scrapy將在project_name/spiders/目錄下建立一個新的Python檔案，檔名稱為您指定的爬蟲名稱。

在建立爬蟲後，您將看到以下Python檔案：

import scrapy
 
 
class SpiderNameSpider(scrapy.Spider):
    name = 'spider_name'
    allowed_domains = ['domain.com']
    start_urls = ['http://www.domain.com/']
 
    def parse(self, response):
        pass

allowed_domains：可選項，用於限制爬取的域名。
start_urls：起始URL列表，爬蟲將從這些URL開始爬取。
parse：爬蟲的預設回撥函數，用於處理響應並提取資料。
name：爬蟲的名稱

例如，以下是一個簡單的爬蟲，用於從一個網站上提取文章的標題和連結：

import scrapy
 
 
class MySpider(scrapy.Spider):
    name = 'myspider'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com/articles']
 
    def parse(self, response):
        for article in response.css('div.article'):
            yield {
                'title': article.css('a.title::text').get(),
                'link': article.css('a.title::attr(href)').get()
            }
 
        next_page = response.css('a.next::attr(href)').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

在該爬蟲中，我們使用了response.css方法來提取資料。具體來說，我們使用了response.css('div.article')來選取所有包含文章的div元素，然後使用了article.css('a.title::text')和article.css('a.title::attr(href)')來提取文章的標題和連結。

此外，我們還使用了response.follow方法來跟蹤下一頁的連結。如果該連結存在，則我們會呼叫self.parse方法來處理下一頁的響應。

當然您也可以用不同的方法來定位元素，比如xpath等