如何實現python爬蟲爬取視訊時實現實時進度條顯示

2022-06-21 18:00:59

一、全部程式碼展示

from contextlib import closing
from requests import get
url = 'https://v26-web.douyinvod.com/57cdd29ee3a718825bf7b1b14d63955b/615d475f/video/tos/cn/tos-cn-ve-15/72c47fb481464cfda3d415b9759aade7/?a=6383&br=2192&bt=2192&cd=0%7C0%7C0&ch=26&cr=0&cs=0&cv=1&dr=0&ds=4&er=&ft=jal9wj--bz7ThWG4S1ct&l=021633499366600fdbddc0200fff0030a92169a000000490f5507&lr=all&mime_type=video_mp4&net=0&pl=0&qs=0&rc=ank7OzU6ZnRkNjMzNGkzM0ApNmY4aGU8MzwzNzo3ZjNpZWdiYXBtcjQwLXNgLS1kLTBzczYtNS0tMmE1Xi82Yy9gLTE6Yw%3D%3D&vl=&vr='
with closing(get(url,  stream=True)) as response:
    chunk_size = 1024  # 單次請求最大值
    # response.headers['content-length']得到的資料型別是str而不是int
    content_size = int(response.headers['content-length'])  # 檔案總大小
    data_count = 0  # 當前已傳輸的大小
    with open('檔名.mp4', "wb") as file:
        for data in response.iter_content(chunk_size=chunk_size):
            file.write(data)
            done_block = int((data_count / content_size) * 50)
            # 已經下載的檔案大小
            data_count = data_count + len(data)
            # 實時進度條進度
            now_jd = (data_count / content_size) * 100
            # %% 表示%
            print("r [%s%s] %d%% " % (done_block * '█', ' ' * (50 - 1 - done_block), now_jd), end=" ")

注：上面的url已過期，需要各位自己去找網頁上的視訊url

二、解釋

1.with closing

我們在日常讀取檔案資源時，經常會用到with open() as f:的句子。

但是使用with語句的時候是需要條件的，任何物件，只要正確實現了上下文管理，就可以使用with語句，實現上下文管理是通過__enter__和__exit__這兩個方法實現的。

with用法（沒有實現上下文管理）

class Door():
    def open(self):
        print('Door is opened')
    def close(self):
        print('Door is closed')
with Door() as d:
    d.open()
    d.close()

結果報錯了：

with用法（實現上下文管理）

用__enter__和__exit__實現了上下文管理

class Door():
    def open(self):
        print('Door is opened')
    def close(self):
        print('Door is closed')
with Door() as d:
    d.open()
    d.close()

結果沒報錯：

closing用法（完美解決上述問題）

一個物件沒有實現上下文，我們就不能把它用於with語句。這個時候，可以用contextlib中的

closing()來把該物件變為上下文物件。

class Door():
    def __enter__(self):
        print('Begin')
        return self
 
    def __exit__(self, exc_type, exc_value, traceback):
        if exc_type:
            print('Error')
        else:
            print('End')
    def open(self):
        print('Door is opened')
    def close(self):
        print('Door is closed')
with Door() as d:
    d.open()
    d.close()

例如：用with語句使用requests中的get(url)

也就是本文中的案例，使用with closing（）下載視訊(在網頁中)