Python解決爬蟲程式卡死問題

2022-05-18 10:02:32

前言：

之前的文章我們已經開啟了爬蟲程式的exe之旅，但是我們最終實現的程式存在一個非常大的問題，當進行網路請求的時候，程式卡死，直到資料請求回來之後，程式才會從假死狀態解脫出來，今天這篇部落格核心將這個問題解決掉。

導致該問題產生的原因是GUI程式在執行高IO操作的時候很容易出現假死和無響應的狀態，通用解決辦法就是多執行緒。

如果想擴充套件開本知識點的學習，可以在搜尋引擎搜尋 tkinter假死，未響應等關鍵字即可

簡單粗暴解決問題

找到上節課需要修改的程式碼部分：

修改成如下程式碼，立馬解決問題：

def thread_down(func, *args):
    # 建立執行緒
    t = threading.Thread(target=func, args=args)
    t.setDaemon(True)
    # 啟動
    t.start()
# 建立按鈕
btn = tk.Button(win,text = '分析下載', command = lambda :thread_down(down_img))

當然記得在頭部匯入執行緒模組：

import threading

對於咱們常寫爬蟲的Coder來說，多執行緒就不用過多的解釋了，非常容易理解，注意下t.setDaemon(True)

通過 t.setDaemon(True) 將子執行緒設定為守護行程（預設False），主執行緒結束後，守護子執行緒隨之中止。

以上是最簡單的解決辦法了，順著這個思路慢慢的修改你的程式即可

增加一點點難度的解決方案

該方案假設你的爬蟲比較複雜一些，用的是類去編寫的，那麼增加一個類檔案即可，該類繼承 threading.Thread 類

class MyThread(threading.Thread):
    def __init__(self, func, *args):
        super().__init__()
        self.func = func
        self.args = args
        self.setDaemon(True)
        self.start() # 構造方法中啟動執行緒
    def run(self):
        self.func(*self.args)
# 建立按鈕
btn = tk.Button(win,text = '分析下載', command = lambda :MyThread(down_img))

上述解決辦法也比較簡單，重點依舊是將I/O耗時操作放置到一個新的執行緒中去

我們重點注意在上述的程式碼中tk.Button(win,text = '分析下載', command = lambda :MyThread(down_img))中我們給command繫結值的時候用到的lambda函數

lambda這個大家都知道是匿名函數，在這裡的用法注意是tk要求的。

他表示傳引數Button繫結事件，檔案中大概意思如下：

我們使用Button傳遞數值時，需要用：
lambda: 功能函數(var1, var2, ……)

所以大家在使用的時候，注意該問題哦~~

我們繼續給爬蟲程式加點料

上面已經解決了一個小問題，這些當然是不夠的，我們的程式豈止於此，接下來，我們每次存取頁面的時候，網頁原始碼的圖片規則肯定是不能確定的，所以使用者可以自定義正規表示式去匹配資料，就是我們接下來改進的方向啦~

先把程式視窗擴大一些

# 表單大小設定
width = 800
height = 600

增加一個文字方塊和一個多行輸入框：

lbtip = tk.Label(win, text='請輸入正規表示式：')
# 新增到視窗中
lbtip.grid(row=1,column=3,pady=20)
# 建立一個多行文字方塊 - 用於輸入正規表示式
t1 = tk.Text(win, width=40,height=20)
# 新增到視窗中
t1.grid(row=2,column=3,padx=20,columnspan=3)

看看佈局，細節可以在調整一下：

獲取正規表示式輸入框資料：

這個地方一個小知識點需要補充下，在tkiner中有兩種文字方塊，單行和多行，對於裡面內容的獲取方式也不同

#get（）方法獲取Entry 文字方塊的內容：
txt = entry.get（）
#get（）方法獲取Text 文字方塊的內容：
txt = text.get("0.0", "end")

Text.get(start, end) 的用法：

Text.get("0.0", "end") 解析：第一個引數‘0.0’是指從第0行第0列開始讀取（‘0.3’表示從第0行第3列開始讀取），第二個引數end表示最後一個字元

寫完測試下:

測試完畢:

尾聲

tkiner其實寫起來慢慢調整還是蠻有意思的，可以用來開發一些不錯的小工具

測試連線 http://baijiahao.baidu.com/s?id=1667856639211368322 測試正則 <img class="large" data-loadfunc=0 src="(.*?)"

到此這篇關於Python解決爬蟲程式卡死問題的文章就介紹到這了,更多相關Python卡死問題內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！

Python解決爬蟲程式卡死問題

目錄

前言：

簡單粗暴解決問題

增加一點點難度的解決方案

我們繼續給爬蟲程式加點料

尾聲

熱門文章