Python爬蟲網頁元素定位術

2022-05-17 19:00:38

實戰場景

初學 Python 爬蟲，十之八九大家採集的目標是網頁，因此快速定位到網頁內容，就成為我們面臨的第一道障礙，本篇部落格就為你詳細說明最易上手的網頁元素定位術，學完就會系列。

本文核心使用到的是 Beautiful Soup 模組，因此我們用來做測試採集的站點，也是其官網（現階段爬蟲採集越來越嚴格，很多站點不能在採集了，很容易被封殺，只能學誰就採集誰了）

官方站點：

www.crummy.com/software/BeautifulSoup/

Beautiful Soup 在 Python 爬蟲圈知名度極高，而且非常好用，它是一款 Python 解析庫，主要用於將 HTML 標籤轉換為 Python 物件樹，然後讓我們從物件樹中提取資料。

模組的安裝及其簡單：

pip install bs4 -i 國內任意源即可

未來安裝任何模組，都儘量使用國內源，速度快穩定。

該模組包名稱為 bs4，安裝的時候需要特別注意下。

基礎用法如下所示

import requests
from bs4 import BeautifulSoup
def ret_html():
    """獲取HTML元素"""
    res = requests.get('https://www.crummy.com/software/BeautifulSoup/', timeout=3)
    return res.text
if __name__ == '__main__':
    html_str = ret_html()
    soup = BeautifulSoup(html_str, 'lxml')
    print(soup)

其中需要注意的就是模組匯入程式碼，以及範例化 soup 物件時，在 BeautifulSoup 類別建構函式中傳遞的兩個引數，一個是待解析的字串，另一個是解析器，官方建議的是 lxml，因其解析速度快。

上述程式碼輸出的內容如下所示，看上去就是普通的 HTML 程式碼檔案。

而且我們可以呼叫 soup 物件的 soup.prettify() 方法，可以將 HTML 標籤進行格式化操作，這樣你就可以在儲存到外部檔案的時候，讓其 HTML 程式碼進行美觀。

BeautifulSoup 模組的物件說明

BeautifulSoup 類可以將 HTML 文字解析成 Python 物件樹，而這裡面又包括最重要的四種物件，分別是 Tag，NavigableString，BeautifulSoup，Comment 物件，接下來我們一一介紹。

BeautifulSoup 物件

該物件本身就代表整個 HTML 頁面，而且範例化該物件的時候，還會自動補齊 HTML 程式碼。

    html_str = ret_html()
    soup = BeautifulSoup(html_str, 'lxml')
    print(type(soup))

Tag 物件

Tag 是標籤的意思，Tag 物件就是網頁標籤，或者叫做網頁元素物件，例如獲取 bs4 官網的 h1 標籤物件，程式碼如下所示：

if __name__ == '__main__':
    html_str = ret_html()
    soup = BeautifulSoup(html_str, 'lxml')
    # print(soup.prettify())  # 格式化 HTML
    print(soup.h1)

得到的也是網頁中的 h1 標籤：

<h1>Beautiful Soup</h1>

用 Python 中的 type 函數，可以檢視其型別，程式碼如下：

    print(soup.h1)
    print(type(soup.h1))

此時得到的可不是一個字串，而是一個 Tag 物件。

<h1>Beautiful Soup</h1>
<class 'bs4.element.Tag'>

既然是 Tag 物件，那就會具備一些特定的屬性值

獲取標籤名稱

    print(soup.h1)
    print(type(soup.h1))
    print(soup.h1.name)  # 獲取標籤名稱

通過 Tag 物件獲取標籤的屬性值

 print(soup.img)  # 獲取網頁第一個 img 標籤
 print(soup.img['src'])  # 獲取網頁元素DOM的屬性值

通過 attrs 屬性獲取標籤的所有屬性

print(soup.img)  # 獲取網頁第一個 img 標籤
print(soup.img.attrs)  # 獲取網頁元素的所有屬性值，以字典形式返回

以上程式碼的所有輸出如下所示，可以任意選擇標籤進行練習。

<h1>Beautiful Soup</h1>
<class 'bs4.element.Tag'>
h1
<img align="right" src="10.1.jpg" width="250"/>
{'align': 'right', 'src': '10.1.jpg', 'width': '250'}

NavigableString 物件

NavigableString 物件獲取的是標籤內部的文字內容，例如p標籤，在下述程式碼中提取的是我是橡皮擦

<p>我是橡皮擦</p>

獲取該物件也非常容易，使用 Tag 物件的 string 屬性即可。

    nav_obj = soup.h1.string
    print(type(nav_obj))

輸出結果如下所示：

<class 'bs4.element.NavigableString'>

如果目標標籤是一個單標籤，會獲取到 None 資料

除了使用物件的string方法外，還可以使用text屬性和get_text()方法來獲取標籤內容

    print(soup.h1.text)
    print(soup.p.get_text())
    print(soup.p.get_text('&'))

其中 text是獲取所有子標籤內容的合併字串，而get_text()也是相同的效果，不過使用get_text()可以增加一個分隔符，例如上述程式碼的&符號，還可以使用，strip=True 引數去除空格。

Comment 物件

BeautifulSoup 物件和 Tag 物件支援標籤查詢方法，具體內容如下所示。

find() 方法和 find_all() 方法

呼叫 BeautifulSoup 物件和 Tag 物件的find()方法，可以在網頁中找到指定物件，

該方法的語法格式如下：

obj.find(name,attrs,recursive,text,**kws)

方法的返回結果是查詢到的第一個元素，如果沒查詢到，返回 None。引數說明如下：

name：標籤名稱；
attrs：標籤屬性；
recursive：預設搜尋所有後代元素；
text：標籤內容。

例如我們繼續在上文請求的網頁中，查詢a標籤，程式碼如下：

html_str = ret_html()
soup = BeautifulSoup(html_str, 'lxml')
print(soup.find('a'))

也可以使用attrs引數進行查詢，程式碼如下：

html_str = ret_html()
soup = BeautifulSoup(html_str, 'lxml')
# print(soup.find('a'))
print(soup.find(attrs={'class': 'cta'}))

find()方法還提供了一些特殊的引數，便於直接查詢，例如可以使用id=xxx，查詢屬性中包含 id的標籤，可以使用class_=xxx，查詢屬性中包含class的標籤。

print(soup.find(class_='cta'))

與find()方法成對出現的是find_all()方法，看名稱就能知道其返回結果收是全部匹配標籤，語法格式如下：

obj.find_all(name,attrs,recursive,text,limit)

其中重點說明一下limit引數，它表示最多返回的匹配數量，find()方法可以看作limit=1，這樣就變得容易理解了。

到此這篇關於Python爬蟲網頁元素定位術的文章就介紹到這了,更多相關Python元素定位內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！