Python網路程式設計之HTTP使用者端模組urllib與urllib3

2022-05-30 22:01:22

一、urllib

概述：

urllib是Python中請求url連線的官方標準庫，就是你安裝了python，這個庫就已經可以直接使用了，基本上涵蓋了基礎的網路請求功能。在Python2中主要為urllib和urllib2，在Python3中整合成了urllib。

Python3.x中將urllib2合併到了urllib，之後此包分成了以下四個模組：

urllib.request：它是最基本的http請求模組，用來模擬傳送請求
urllib.error：例外處理模組，如果出現錯誤可以捕獲這些異常
urllib.parse：一個工具模組，提供了許多URL處理方法，如：拆分、解析、合併等
urllib.robotparser：主要用來識別網站的robots.txt檔案，然後判斷哪些網站可以爬

二、urllib.parse模組

它支援如下協定的URL處理：file,ftp,gopher,hdl,http,https,imap,mailto,mms,news,nntp,prospero,rsync,rtsp,rtspu,sftp,sip,sips,snews,svn,snv+ssh,telnet,wais

1、urlparse（）、urlunparse()：將url字串解析成元組

語法：urllib.parse.urlparse(urlstring,scheme='',allow_fragments=True)

可以傳遞3個引數

urlstring：待解析的URL，字串
scheme：它是預設的協定，如http或者https，URL如果不帶http協定，可以通過scheme來指定，如果URL中制定了http協定則URL中生效
allow_fragments：是否忽略fragment即錨點，如果設定為False，fragment部分會被忽略，反之不忽略

該方法可以實現URL的識別和分段，分別是scheme(協定),netloc(域名),path(路徑),params(引數),query(查詢條件),fragment(錨點)

import urllib.parse

url = "http://www.baidu.com"
parsed = urllib.parse.urlparse(url)
print(parsed)
# 輸出：ParseResult(scheme='http', netloc='www.baidu.com', path='', params='', query='', fragment='') #返回的是一個parseresult型別的元組物件，可以通過屬性或者索引來獲取值

與urlparse()相反，urlunparse通過列表或者元祖的形式接受一個可迭代的物件，實現URL構造

from urllib.parse import urlunparse
data=['http','www.baidu.com','index.html','user','a=6','comment']
print(urlunparse(data)) #構造一個完整的URL

#output
#http://www.baidu.com/index.html;user?a=6#comment

2、urlsplit()、urlunsplit()：URL分割與組合

與urlparse()方法類似，它會返回5個部分，只是把params合併到path中。

from urllib.parse import urlsplit

result = urlsplit('http://www.baidu.com/index.html;user?id=5#comment')
print(result)
print(result.query)
# output
# SplitResult(scheme='http', netloc='www.baidu.com', path='/index.html;user', query='id=5', fragment='comment')
# id=5

與urlunparse()類似，它也是將連結的各部分組合完整的連結的方法，傳入的引數也是可迭代的物件，如列表元祖等，唯一的區別是長度必須是5個，它省略了params

from urllib.parse import urlsplit,urlunsplit
data=['http','www.baidu.com','index.html','a=5','comment']
result=urlunsplit(data)
print(result)

#output
#http://www.baidu.com/index.html?a=5#comment

3、urlencode()、parse_qs()：查詢字串與字典型別轉換

urlencode() 將dict中的鍵值對以連線符&劃分。

urlencode()在構造GET請求引數時很有用，可以將字典型別的請求資料轉變為url編碼

import urllib.parse
dic = {'name':'melon','age':18}
data = urllib.parse.urlencode(dic)

print(data)     #age=18&name=melon

parse_qs()與urlencode()正好相反，它是用來反序列化的，如將GET引數轉換回字典格式

from urllib.parse import urlencode,parse_qs,urlsplit
params = {'username':'zs','password':'123'}
base_url='http://www.baidu.com'
url=base_url+'?'+urlencode(params) #將字典轉化為get引數

query=urlsplit(url).query  #獲去URL的query引數條件
print(parse_qs(query))  #根據獲取的GET引數轉換為字典格式

#output
#{'username': ['zs'], 'password': ['123']}

4、quote()、unquote()：URL編碼與解碼

quote：URL編碼處理，該方法可以將內容轉換為URL編碼的格式。

如引數中帶有中文等非ASCII碼時，有時會導致亂碼的問題，此時用這個方法將中文字元轉化為URL編碼

from urllib.parse import quote
key='中文'
url='https://www.baidu.com/s?key='+quote(key)
print(url)

#output
#https://www.baidu.com/s?key=%E4%B8%AD%E6%96%87

unquote(url)：URL解碼處理，與quote()相反，URL上的特殊字元還原

from urllib.parse import quote, urlsplit, unquote

key = '中文'
url = 'https://www.baidu.com/s?key=' + quote(key)
print(url)
unq = urlsplit(url).query.split('=')[1]  # 獲取引數值

print(unquote(unq))  # 解碼引數

5、urljoin（）:將url的根域名和新url拼合成一個完整的url

格式：urljoin（baseurl,newurl,allowFrag=None）

通過將基本URL（base）與另一個URL(url)組合起來構建完整URL，它會使用基本URL元件，協定(schemm)、域名(netloc)、路徑(path)、來提供給URL中缺失的部分進行補充，最後返回結果。

base_url提供了三項內容scheme,netloc,path，如果這3項在新的連結中不存在就給予補充，如果新的連結存在就使用新的連結部分，而base_url中的params,query和fragment是不起作用的。

通過urljoin()方法可以實現連結的解析、拼接和生成。

import urllib.parse

url = "http://www.baidu.com"
new_path = urllib.parse.urljoin(url, "index.html")
print(new_path)
# 輸出：<a href="http://www.baidu.com/index.html" rel="external nofollow"   target="_blank">http://www.baidu.com/index.html</a>

三、urllib.request模組

1、urlretrieve()：下載url到html檔案。

urlretrieve(url,filename,reporthook,data)

不寫路徑filename則會被存為臨時檔案，可以用 urllib.urlcleanup() 來清除快取

file_name = urllib.request.urlretrieve('http://www.baidu.com','%s/baidu.html'%BASE_DIR)

2、urlopen()：開啟一個url的方法，返回一個檔案物件，然後可以進行類似檔案物件的操作

模組中最常用的函數為urlopen()：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

引數如下：

url: 請求的網址，str型別，也可以是一個request物件
data：要傳送到伺服器的資料，data引數是可選的，內容為位元組流編碼格式的即bytes型別，如果傳遞data引數，urlopen將使用Post方式請求。
timeout：設定網站的存取超時時間，單位為秒，如果請求超出了設定時間還未得到響應則丟擲異常，支援HTTP,HTTPS,FTP請求。
其他引數：context引數，她必須是ssl.SSLContext型別，用來指定SSL設定，此外,cafile和capath這兩個引數分別指定CA證書和它的路徑，會在https連結時用到。

1、urlopen的方法：

urlopen返回http.client.HTTPResponse物件，提供方法：

read()：獲取響應返回的資料，只能使用一次。
readline()：返回得是二進位制格式得頁面中得第一行
readlines() ：以二進位制格式返回所有得資料以列表格式儲存
fileno()：
close() ：
info()：返回一個httplib.HTTPMessage 物件，表示遠端伺服器返回的頭資訊。
getcode()：返回Http狀態碼，如果是http請求，200表示請求成功完成;404表示網址未找到。
getheaders()：獲取返回響應的響應報頭。
geturl()：返回請求的url。

在urlopen()方法中，直接寫入要存取的url地址字串，該方法就會主動的存取目標網址，然後返回存取結果。

返回的存取結果是一個http.client.HTTPResponse物件，使用該物件的read()方法即可獲取存取網頁獲取的資料，這個資料是二進位制格式的，所以我們還需要使用decode()方法來將獲取的二進位制資料進行解碼，轉換成我們可以看的懂得字串。

import urllib.request

req = urllib.request.urlopen('http://www.baidu.com')
print(req.read().decode())
print(req.getheaders())  # 以列表元祖對的形式返回響應頭資訊
print(req.getheader('Content-Type'))  # 返回響應頭中的Content-Type值
print(req.info())  # 返回網頁的頭資訊
print(req.info()['Content-Type'])  # 返回響應頭中的Content-Type值

2、for迴圈讀取

不需要使用read()方法。

for line in urlopen('https://。。.html'):
    line = line.decode('utf-8')  # Decoding the binary data to text.
    if 'EST' in line or 'EDT' in line:  # look for Eastern Time
        print(line)

3、GET請求

GET請求和我們平常get存取方式一樣,直接把引數寫到網址上面就好了。

import urllib.request
import urllib.parse

dic = {'name':'melon','age':18}
data = urllib.parse.urlencode(dic)

req = urllib.request.urlopen('http://127.0.0.1:8000/index?%s'%data) #通過urlopen方法存取拼接好的url

content = req.read()

4、POST請求

在urlopen()方法中，urlopen()預設的存取方式是GET，當在urlopen()方法中傳入data引數時，則會發起POST請求。

注意：傳遞的data資料需要為bytes格式,如data=b'word=hello'。

import urllib.request
import urllib.parse
import json

dic = {'name':'melon','age':18}
data = urllib.parse.urlencode(dic)

req = urllib.request.Request('http://127.0.0.1:8000/index', data.encode()) #encode：將url編碼型別的請求資料轉變為bytes型別

opener = urllib.request.urlopen(req)
content = json.loads(opener.read().decode()) #read()方法是讀取返回bytes資料內容，decode轉換後為str

5、請求頭引數模擬

當我們需要模擬一些其他的引數的時候，簡單的urlopen() 方法已經無法滿足我們的需求了，這個時候我們就需要使用下面的urllib.request中的Request物件來幫助我們實現一些其它引數的模擬，比如請求頭。

Request物件如下所示：

# Request物件範例化
req   = urllib.request.Request(url, data=None, headers={},origin_req_host=None,unverifiable=False, method=None)

url：請求的URL，必須傳遞的引數，其他都是可選引數
data：上傳的資料，必須傳bytes位元組流型別的資料，如果它是字典，可以先用urllib.parse模組裡的urlencode()編碼
headers：它是一個字典，傳遞的是請求頭資料，可以通過它構造請求頭，也可以通過呼叫請求範例的方法add_header()來新增
例如：修改User_Agent頭的值來偽裝瀏覽器，比如火狐瀏覽器可以這樣設定：
{'User-Agent':'Mozilla/5.0 (compatible; MSIE 5.5; Windows NT)'}
origin_req_host：指請求方的host名稱或者IP地址
unverifiable：表示這個請求是否是無法驗證的，預設為False，如我們請求一張圖片如果沒有許可權獲取圖片那它的值就是true
method：是一個字串，用來指示請求使用的方法，如：GET,POST,PUT等

from urllib import request

url='http://httpbin.org/post'
headers={
     'User-Agent':'Mozilla/5.0 (compatible; MSIE 5.5; Windows NT)',
     'Host':'httpbin.org'
 }  #定義頭資訊

dict={'name':'germey'}

data = bytes(parse.urlencode(dict),encoding='utf-8')
req = request.Request(url=url,data=data,headers=headers,method='POST')
#req.add_header('User-Agent','Mozilla/5.0 (compatible; MSIE 8.4; Windows NT') #也可以request的方法來新增
resp = request.urlopen(req) 
print(resp.read().decode())

3、urllib.request的高階類

BaseHandler類：

在urllib.request模組裡的BaseHandler類，他是所有其他Handler的父類別，他是一個處理器，比如用它來處理登入驗證，處理cookies，代理設定，重定向等

BaseHandler的子類包括：

HTTPDefaultErrorHandler：用來處理http響應錯誤，錯誤會丟擲HTTPError類的異常
HTTPRedirectHandler：用於處理重定向
HTTPCookieProcessor：用於處理cookies
ProxyHandler：用於設定代理，預設代理為空
HTTPPasswordMgr：永遠管理密碼，它維護使用者名稱和密碼錶
HTTPBasicAuthHandler：使用者管理認證，如果一個連結開啟時需要認證，可以使用它來實現驗證功能

build_opener(*handlers)方法用於構建一個自定義的OpenerDirector物件。

build.opener(handler1,handler2…)

之前的urlopen()方法就是urllib提供的一個Opener，通過Handler處理器來構建Opener實現Cookies處理,代理設定，密碼設定等

Opener的方法包括：

add_handler(handler)：新增處理程式到連結中
open(url,data=None[,timeout])：開啟給定的URL與urlopen()方法相同
error(proto,*args)：處理給定協定的錯誤

設定全域性後既可以用urlopen()方法，也可以用opener.open() ，不安裝的話只能用opener.open()方法

# 將這個opener設定為全域性的opener，之後所有的，不管是opener.open()還是urlopen() 傳送請求，都將使用自定義
request.install_opener(opener)
resp = request.urlopen(url)

1、密碼驗證：HTTPBasicAuthHandler和ProxyBasicAuthHandler

HTTPPasswordMgrWithDefaultRealm()類建立一個密碼管理物件，用來儲存HTTP請求相關的使用者名稱和密碼，主要應用兩個場景：

驗證代理授權的使用者名稱和密碼(ProxyBasicAuthHandler())
驗證web使用者端的使用者名稱和密碼(HTTPBasicAuthHandler())

在下面的方法中我們還用到了一個新的東西，即request.build_opener()方法，其實urlopen()就是通過構造好了的opener物件傳送請求，在這裡我們使用request.build_opener()方法重構了一個opener()物件，我們可以通過這個物件實現urlopen()實現的任何東西。

from urllib.request import HTTPPasswordMgrWithDefaultRealm,HTTPBasicAuthHandler,build_opener
from urllib.error import URLError

username='username'
passowrd='password'
url='http://localhost'
p=HTTPPasswordMgrWithDefaultRealm() #構造密碼管理範例
p.add_password(None,url,username,passowrd) #新增使用者名稱和密碼到範例中
auth_handler=HTTPBasicAuthHandler(p) #傳遞密碼管理範例構建一個驗證範例
opener=build_opener(auth_handler)  #構建一個Opener
try:
    result=opener.open(url)  #開啟連結，完成驗證，返回的結果是驗證後的頁面內容
    html=result.read().decode('utf-8')
    print(html)
except URLError as e:
    print(e.reason)

2、設定Proxy代理：ProxyHandler

使用爬蟲來爬取資料的時候，如果過於頻繁的存取，而且網站還設有限制的話，很有可能會禁封我們的ip地址，這個時候就需要設定代理，來隱藏我們的真實IP。

urllib提供了urllib.request.ProxyHandler()方法可動態的設定代理IP池。將代理IP以字典形式傳入該方法，然後通過urllib.reques.build_opener(）建立opener物件，用該物件的open()方法向伺服器傳送請求。

from urllib import request
  
url = 'http://httpbin.org/ip'
proxy = {'http': '218.18.232.26:80', 'https': '218.18.232.26:80'}
proxies = request.ProxyHandler(proxy)  # 建立代理處理器
opener = request.build_opener(proxies)  # 建立opener物件
  
resp = opener.open(url)
print(resp.read().decode())

3、新增Cookie：HTTPCookieProcessor

有時候當我們存取一些網站的時候需要進行翻頁或者跳轉等其它操作，為了防止無法存取我們想要的資料，需要讓網站識別我們是同一個使用者。這個時候我們就需要帶上cookie進行存取。

在設定cookie的時候由於urllib並沒有很好的處理cookie的物件，所以在這裡我們需要用到一個別的庫，即http庫，並使用裡面的cookiejar來進行cookie的管理：

CookieJar類關係：CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar

from http import cookiejar
from urllib import request
  
cookie = cookiejar.CookieJar() # 建立一個cookiejar物件
cookies = request.HTTPCookieProcessor(cookie) # 使用HTTPCookieProcessor建立cookie處理器
opener = request.build_opener(cookies) # 並以它為引數建立Opener物件
resp = opener.open('https://www.baidu.com') # 使用這個opener來發起請求
  
# 檢視之前的cookie物件，則可以看到存取百度獲得的cookie
for i in cookie:
    print(i)

cookies儲存到檔案：

1、以Mozilla型瀏覽器的cookies格式：

cookie=http.cookiejar.MozillaCookieJar(filename=fielname)

import http.cookiejar,urllib.request
fielname='cookies.txt'
cookie=http.cookiejar.MozillaCookieJar(filename=fielname) #建立儲存cookie的範例，儲存瀏覽器型別的Mozilla的cookie格式
handler=urllib.request.HTTPCookieProcessor(cookie) #構建一個handler
opener=urllib.request.build_opener(handler) #構建Opener
response=opener.open('http://www.baidu.com') #請求
cookie.save(ignore_discard=True,ignore_expires=True)

從檔案中讀取cookies：

2、也可以儲存為libwww-perl(LWP)格式的Cookies檔案

cookie=http.cookiejar.LWPCookieJar(filename=fielname)

import http.cookiejar,urllib.request
#fielname='cookiesLWP.txt'
#cookie=http.cookiejar.LWPCookieJar(filename=fielname) #LWP格式的cookies
cookie=http.cookiejar.LWPCookieJar()
cookie.load('cookiesLWP.txt',ignore_discard=True,ignore_expires=True)

handler=urllib.request.HTTPCookieProcessor(cookie) #構建一個handler
opener=urllib.request.build_opener(handler) #構建Opener
response=opener.open('http://www.baidu.com') #請求
print(response.read().decode('utf-8'))

當然，如果把上面這個生成的opener物件使用install_opener方法來設定為全域性的，opener物件之後的每次存取都會帶上這個cookie。

4、證書驗證

通過新增忽略ssl證書驗證關閉證書驗證,由於urllib並沒有很好的處理ssl的物件，所以在這裡我們需要用到一個別的庫，即ssl庫，如下：

import ssl
from urllib import request
 
context = ssl._create_unverified_context()
res = urllib.request.urlopen(request, context=context)

當你 urllib.urlopen一個 https 的時候會驗證一次 SSL 證書，當目標使用的是自簽名的證書時就會出現一個URLError，如果是這樣可以在開頭加上

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

四、urllib.error模組

urllib的error模組定義了由request模組產生的異常，如果出現問題，request模組便會丟擲error模組中定義的異常。

在urllib中主要設定了兩個異常，一個是URLError，一個是HTTPError，HTTPError是URLError的子類。

1、URLError基礎類別

URLError類來自urllib庫的error模組，它繼承自OSError類，是error異常模組的基礎類別，由request模組產生的異常都可以通過捕獲這個類來處理

它只有一個屬性reason，即返回錯誤的原因

from urllib import request,error

try:
    response=request.urlopen('https://hehe,com/index')
except error.URLError as e:
    print(e.reason)  #如果網頁不存在不會丟擲異常，而是返回捕獲的異常錯誤的原因(Not Found)

reason如超時則返回一個物件

import socket
import urllib.request
import urllib.error
try:
    response=urllib.request.urlopen('https://www.baidu.com',timeout=0.001)
except urllib.error.URLError as e:
    print(e.reason)
    if isinstance(e.reason,socket.timeout):
        print('time out')

2、HTTPError

它是URLError的子類，專門用來處理HTTP請求錯誤，比如認證請求失敗，它有3個屬性：

code：返回HTTP的狀態碼，如404頁面不存在，500伺服器錯誤等
reason：同父類別，返回錯誤的原因
headers：返回請求頭

舉例：

from urllib import request,error

try:
    response=request.urlopen('http://cuiqingcai.com/index.htm')
except error.HTTPError as e:  #先捕獲子類異常
    print(e.reason,e.code,e.headers,sep='n')
except error.URLError as e:  #再捕獲父類別異常

    print(e.reason)
else:
    print('request successfully')

五、urllib.robotparser模組

利用urllib的robotparser模組，我們可以實現網站Robots協定的分析

1、Robots協定

也稱為爬蟲協定、機器人協定，它的全名叫做網路爬蟲排除標準(Robots Exclusion Protocol)，用來告訴爬蟲和搜尋引擎哪些網頁可以抓取，哪些不可以抓取，它通常是一個robots.txt的文字檔案，一般放在網站的根目錄下。

當搜尋爬蟲存取一個站點時，它首先會檢查這個站點根目錄下是否存在robots.txt檔案，如果存在，搜尋爬蟲會根據其中定義的爬去範圍來爬取，如果沒有找到，搜尋爬蟲會存取所有可直接存取的頁面

我們來看下robots.txt的樣例：

User-agent: *
Disallow: /
Allow: /public/

它實現了對所有搜尋爬蟲只允許爬取public目錄的功能，將上述內容儲存為robots.txt檔案放在網站根目錄下，和網站的入口檔案（index.html）放在一起

1、User-agent描述了搜尋爬蟲的名稱，將其設定為*則代表協定對任何爬蟲有效，如設定為Baiduspider則代表規則對百度爬蟲有效，如果有多條則對多個爬蟲受到限制，但至少需要指定一條

一些常見的搜尋爬蟲名稱：

BaiduSpider 百度爬蟲 www.baidu.com
Googlebot Google爬蟲 www.google.com
360Spider 360爬蟲 www.so.com
YodaoBot 有道爬蟲 www.youdao.com
ia_archiver Alexa爬蟲 www.alexa.cn
Scooter altavista爬蟲 www.altavista.com

2、Disallow指定了不允許抓取的目錄，如上例中設定的/則代表不允許抓取所有的頁面

3、Allow一般和Disallow一起使用，用來排除單獨的某些限制，如上例中設定為/public/則表示所有頁面不允許抓取，但可以抓取public目錄

設定範例：

#禁止所有爬蟲
User-agent: *
Disallow: /

#允許所有爬蟲存取任何目錄,另外把檔案留空也可以
User-agent: *
Disallow:

#禁止所有爬蟲存取某那些目錄
User-agent: *
Disallow: /home/
Disallow: /tmp/

#只允許某一個爬蟲存取
User-agent: BaiduSpider
Disallow:
User-agent: *
Disallow: /

2、rebotparser模組

用來解析robots.txt，該模組提供了一個類RobotFileParser，它可以根據某網站的robots.txt檔案來判斷一個抓取爬蟲時都有許可權來抓取這個網頁

urllib.robotparser.RobotFileParser(url='')

robotparser類常用的方法：

set_url()：用來設定robots.txt檔案的連線，如果在建立RobotFileParser物件是傳入了連線，就不需要在使用這個方法設定了
read()：讀取reobts.txt檔案並進行分析，它不會返回任何內容，但執行那個了讀取和分析操作
parse()：用來解析robots.txt檔案，傳入的引數是robots.txt某些行的內容，並安裝語法規則來分析內容
can_fetch()：該方法傳入兩個引數，第一個是User-agent，第二個是要抓取的URL，返回的內容是該搜尋引擎是否可以抓取這個url,結果為True或False
mtime()：返回上次抓取和分析robots.txt的時間
modified()：將當前時間設定為上次抓取和分析robots.txt的時間

from urllib.robotparser import RobotFileParser

rp = RobotFileParser()  #建立物件
rp.set_url('https://www.cnblogs.com/robots.txt') #設定robots.txt連線，也可以在建立物件時指定
rp.read()  #讀取和解析檔案
print(rp.can_fetch('*','https://i.cnblogs.com/EditPosts.aspx?postid=9170312&update=1')) #判斷連結是否可以被抓取

六、urllib3庫

urllib3增加了連線池等功能，兩者互相都有補充的部分。許多Python的原生系統已經開始使用urllib3。

urllib3提供了很多python標準庫urllib裡所沒有的重要特性：

執行緒安全
連線池
使用者端SSL/TLS驗證
檔案分部編碼上傳
協助處理重複請求和HTTP重定位
支援gzip和deflate壓縮編碼
支援HTTP和SOCKS代理
100%測試覆蓋率

urllib3是一個第三方庫，pip安裝：

pip install urllib3

通過urllib3存取一個網頁，那麼必須首先構造一個PoolManager物件，然後通過PoolMagent中的request方法或者 urlopen()方法來存取一個網頁，兩者幾乎沒有任何區別。

class urllib3.poolmanager.PoolManager（num_pools = 10，headers = None，** connection_pool_kw ）

生成一個PoolManager所需要的引數：

num_pools 代表了快取的池的個數，如果存取的個數大於num_pools，將按順序丟棄最初始的快取，將快取的個數維持在池的大小。
headers 代表了請求頭的資訊，如果在初始化PoolManager的時候指定了headers，那麼之後每次使用PoolManager來進行存取的時候，都將使用該headers來進行存取。
** connection_pool_kw 是基於connection_pool 來生成的其它設定

當存取網頁完成之後，將會返回一個HTTPResponse物件。

使用request()或者urlopen()，獲取GET請求的響應內容：

import urllib3

data = json.dumps({'abc': '123'})
http = urllib3.PoolManager(num_pools=5, headers={'User-Agent': 'ABCDE'})
  
resp1 = http.request('GET', 'http://www.baidu.com', body=data)
resp2 = http.urlopen('GET', 'http://www.baidu.com', body=data)
  
print(resp2.data.decode())

使用request()或者urlopen()，進行 POST 請求：

import urllib3
import json
  
data = json.dumps({'abc': '123'})
http = urllib3.PoolManager(num_pools=5, headers={'User-Agent': 'ABCDE'})
  
resp1 = http.request('POST', 'http://www.httpbin.org/post', body=data,timeout=5,retries=5)
#resp2 = http.urlopen('POST', 'http://www.httpbin.org/post', body=data,timeout=5,retries=5)
  
print(resp1.data.decode())

注意事項：urllib3 並沒有辦法單獨設定cookie，所以如果你想使用cookie的話，可以將cookie放入到headers中

1、request()和urlopen()方法的區別：

urlopen()比request()有三個引數是不一樣的，你會發現request()具有fields，headers兩個引數。所以更多的也就使用 request() 方法了。

推薦使用request()來進行存取的，因為使用request()來進行存取有兩點好處，

可以直接進行post請求，不需要將 data引數轉換成JSON格式
直接進行GET請求，不需要自己拼接url引數

語法：

request(self, method, url, fields=None, headers=None, **urlopen_kw)
urlopen(self, method, url, redirect=True, **kw):

2、設定代理：ProxyManager

如果你需要使用代理來存取某個網站的話, 那麼你可以使用 ProxyManager 物件來進行設定

def __init__(self, proxy_url, num_pools=10, headers=None,proxy_headers=None, **connection_pool_kw):

ProxyManager和PoolManager的方法基本完全相同。

import urllib3
import json
 
data = {'abc': '123'}
proxy = urllib3.ProxyManager('http://50.233.137.33:80', headers={'connection': 'keep-alive'})
resp1 = proxy.request('POST', 'http://www.httpbin.org/post', fields=data)
print(resp1.data.decode())

到此這篇關於Python網路程式設計之HTTP使用者端模組urllib與urllib3的文章就介紹到這了。希望對大家的學習有所幫助，也希望大家多多支援it145.com。