java爬蟲Jsoup主要類及功能使用詳解

2022-12-11 14:00:08

一、Jsoup的主要功能

Jsoup是一款Java 的HTML解析器，可直接解析某個URL地址、HTML文字內容。它提供了一套非常省力的API，可通過DOM，CSS以及類似於jQuery的操作方法來取出和運算元據。

從一個URL，檔案或字串中解析HTML
使用DOM或CSS選擇器來查詢、取出資料
可操作HTML元素、屬性、文字
根據安全的白名單清理使用者提交的內容，以防止XSS攻擊
輸出整潔的HTML

二、Jsoup的主要類

1. org.jsoup.Jsoup類

Jsoup類是任何Jsoup程式的入口點，並將提供從各種來源載入和解析HTML檔案的方法。

static Connection connect(String url)	建立並返回URL的連線。
static Document parse(File in, String charsetName)	將指定的字元集檔案解析成檔案。
static Document parse(String html)	將給定的html程式碼解析成檔案。
static String clean(String bodyHtml, Whitelist whitelist)	從輸入HTML返回安全的HTML，通過解析輸入HTML並通過允許的標籤和屬性的白名單進行過濾。

2. org.jsoup.nodes.Document類

該類表示通過Jsoup庫載入HTML檔案。可以使用此類執行適用於整個HTML檔案的操作。

3. org.jsoup.nodes.Element類

HTML元素是由標籤名稱，屬性和子節點組成。使用Element類，您可以提取資料，遍歷節點和操作HTML。

三、Jsoup使用

1.maven引入

<dependency>
    <groupId>org.jsoup</groupId> 
    <artifactId>jsoup</artifactId> 
    <version>1.10.2</version> 
</dependency>

2.載入檔案

Document document = Jsoup.connect("http://www.yiibai.com").get();
Document document = Jsoup.parse( new File( "D:/temp/index.html" ) , "utf-8" );```
String html = "<html><head><title>First</title></head><body><p>Parsed</p></body></html>";
Document document = Jsoup.parse(html);

3.解析檔案

根據id查詢元素 getElementById
根據標籤獲取元素 getElementsByTag
根據class獲取元素 getElementsByClass
根據屬性獲取元素 getElementsByAttribute

// 解析檔案，獲取doc物件 
Document doc = Jsoup.parse(new File("C:\Users\myqxin\Desktop\set.html"), "utf8"); 
// 1，根據id查詢元素 getElementById 
Element element1 = doc.getElementById("people"); 
// 2，根據標籤獲取元素 getElementsByTag 
Element element2 = doc.getElementsByTag("span").first(); 
// 3，根據class獲取元素 getElementsByClass 
Element element3 = doc.getElementsByClass("").first(); 
// 4，根據屬性獲取元素 getElementsByAttribute 
Element element4 = doc.getElementsByAttribute("").last(); 
// 根據屬性和屬性值獲取 Element element5 = doc.getElementsByAttributeValue("abc","123").last();

4.使用選擇器獲取元素

selector選擇器概述

tagname：通過標籤查詢元素，比如：span
#id：通過ID查詢元素，比如：#myqxin
.class：通過class名稱查詢元素，比如：class_a
[attribute]：利用屬性查詢元素，比如：[abc]
[attr=value]：利用屬性值查詢元素，比如：[class=s_name]
ns|tag: 通過標籤在名稱空間查詢元素，比如：可以用 fb|name 語法來查詢 fb:name 元素
[attr^=value], [attr$=value], [attr*=value]: 利用匹配屬性值開頭、結尾或包含屬性值來查詢元素，比如：[href*=/path/]
[attr~=regex]: 利用屬性值匹配正規表示式來查詢元素，比如： img[src~=(?i).(png|jpe?g)]
*: 這個符號將匹配所有元素

Selector選擇器組合使用

el#id: 元素+ID，比如： div#logo
el.class: 元素+class，比如： div.masthead
el[attr]: 元素+class，比如： a[href]
任意組合，比如：a[href].highlight
ancestor child: 查詢某個元素下子元素，比如：可以用.body p 查詢在"body"元素下的所有 p元素
parent > child: 查詢某個父元素下的直接子元素，比如：可以用div.content > p 查詢 p 元素，也可以用body > * 查詢body標籤下所有直接子元素
siblingA + siblingB: 查詢在A元素之前第一個同級元素B，比如：div.head + div
siblingA ~ siblingX: 查詢A元素之前的同級X元素，比如：h2 ~ p
el, el, el:多個選擇器組合，查詢匹配任一選擇器的唯一元素，例如：div.masthead, div.logo

偽選擇器selectors