Python BautifulSoup 節點資訊

2022-08-24 18:03:44

1、獲取節點的內容

獲取節點內容：

如果要獲得節點中的文字內容，可以用 string 或 get_text()

string：只能獲得節點中的文字內容，如果節點中有子孫節點，string就獲取不到內容，返回 None
get_text() 推薦使用：獲取到節點中包含的所有內容包括子孫節點中的內容
可以使用get_text() 方法快速得到原始檔中的所有文字內容，如 soup.get_text()

使用範例：

待解析的html文字檔案如下：id為al的p標籤有子孫節點，id為bl的span標籤沒有子孫節點

<!DOCTYPE html>
<html lang="en">
<head>
<title>test</title>
</head>
<body>
<p class="title"/>

<a href="http://localhost:8080" rel="external nofollow"  rel="external nofollow"  rel="external nofollow" />
<div>
    <p class="story" id="al">
        <a class="s1" href="www.baidu.com" rel="external nofollow"  id="l1">a1</a>
        <a class="s2" href="" id=" rel="external nofollow"  rel="external nofollow" l2">a2</a>
        <a class="s3" href="" id=" rel="external nofollow"  rel="external nofollow" l3">a3</a>
        <span>span</span>
    </p>
    <span id="bl">
        方唐鏡
    </span>
</div>
</body>
</html>

使用範例1：對p標籤和span標籤進行解析，列印裡面的內容

from bs4 import BeautifulSoup

#使用 lxml 解析器
soup = BeautifulSoup(open('test.html',encoding='utf-8'),'lxml')

list = soup.select('#al')[0]
print(list.string)
print(list.get_text())

執行結果及說明：

用string獲取p標籤的文字內容，因為p標籤有子孫節點，所以返回None；

get_text()獲取p標籤的文字內容，返回p標籤及子孫節點中的文字內容；

None

# 用
a1
a2
a3

使用範例2：對span標籤進行解析，列印裡面的內容

span = soup.select('#bl')[0]
print(span.string)
print(span.get_text())

執行結果及說明：

string獲取span標籤的文字內容，因為span標籤沒有子孫節點，所以可以返回文字內容；

用get_text()獲取span標籤的文字內容，因為span標籤沒有子孫節點，所以只返回span標籤的文字內容；

span

方唐鏡

方唐鏡

2、獲取節點的名稱

.name 獲取節點的名稱

待解析的html文字檔案：

<!DOCTYPE html>
<html lang="en">
<head>
<title>test</title>
</head>
<body>
<p class="title"/>
<a href="http://localhost:8080" rel="external nofollow"  rel="external nofollow"  rel="external nofollow" />
<div>
    <span id="span" class="c1">
        方唐鏡
    </span>
</div>
</body>
</html>

獲取節點的屬性範例：

from bs4 import BeautifulSoup

#使用 lxml 解析器
soup = BeautifulSoup(open('test.html',encoding='utf-8'),'lxml')
# 根據class選擇器查詢，返回第一個節點
obj = soup.select('.c1')[0]
print(obj.name)

執行結果：該節點為span節點

span

3、獲取節點的屬性值

.attrs 獲取獲取節點的屬性值，並以字典的形式返回

待解析的html文字檔案：

<!DOCTYPE html>
<html lang="en">
<head>
<title>test</title>
</head>
<body>
<p class="title"/>
<a href="http://localhost:8080" rel="external nofollow"  rel="external nofollow"  rel="external nofollow" />
<div>
    <span id="span" class="c1">
        方唐鏡
    </span>
</div>
</body>
</html>

獲取節點的屬性範例：

from bs4 import BeautifulSoup

#使用 lxml 解析器
soup = BeautifulSoup(open('test.html',encoding='utf-8'),'lxml')
# 根據class選擇器查詢，返回第一個節點
obj = soup.select('.c1')[0]
print(obj.attrs)

執行結果：以字典的形式返回

{'id': 'span', 'class': ['c1']}

可以通過get方法獲得字典裡指定屬性的屬性值：有下面三種方法

# 獲取class屬性的屬性值
#方式一（推薦）
print(obj.attrs.get('class'))
#方式二
print(obj.get('class'))
#方式三
print(obj['class'])

執行結果：

['c1']
['c1']
['c1']

3、BS4具體使用

程式碼範例：獲取所有飲品的名稱·

import urllib.request
from bs4 import BeautifulSoup
from lxml import etree

url = 'https://www.starbucks.com.cn/menu/'
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 SLBrowser/8.0.0.2242 SLBChan/10'
}
# 客製化請求，傳送請求並返回響應物件和html檔案
request = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')

# 使用 lxml 解析器
soup = BeautifulSoup(content,'lxml')
# 檢索html檔案，返回列表形式
name_list = soup.select('ul[class="grid padded-3 product"] strong')
# 遍歷列印
for name in name_list:
    print(name.string)