首頁 > 軟體

Python retrying 重試機制詳解

2021-11-25 19:02:01

我們在程式開發中,經常會需要請求一些外部的介面資源,而且我們不能保證每次請求一定會成功,所以這些涉及到網路請求的程式碼片段就需要加上重試機制。下面來說一下Python中的重試方法。

迴圈加判斷

最簡單的重試方式就是在需要進行重試的程式碼片段上加一個迴圈,程式內捕獲異常,如果執行成功就退出迴圈,執行失敗就就重複執行相關程式碼,例如:

import requests
def req_with_retry(url):
    retry_max = 10  # 最大重試次數為10次
    for i in range(1, retry_max+1):
        try:
            print("第{}次請求".format(i))
            # 這裡請求不到會拋ConnectTimeout異常
            res = requests.get(url, timeout=1)
            data = res.json()
            print("請求成功:", data)
            break
        except requests.exceptions.ConnectTimeout as e:
            continue
# 請求一個不存在的網址
req_with_retry(https://www.hahaha.cn/haha)

執行結果:


由於請求了一個不存在的網址,所以一直在重試,知道達到最大次數10次。但是這樣有一定的程式碼侵入性,在業務邏輯上加入迴圈判斷顯得很不美觀,彆著急,往下看,還有更好的方法。

retrying

retrying是Python的一個第三方庫,它提供一個裝飾器函數retry,被裝飾的業務函數就會在執行失敗的條件下重新執行,預設只要報錯就會一直重試,直至執行成功。

可以使用pip install retrying進行安裝。

例如下面一段程式碼,我們使用生成亂數的大小的方式模擬業務的成功與失敗,只要是生成的亂數大於2,都視為失敗,就會重試,直到生成的亂數小於2:

import random
from retrying import retry
@retry
def random_with_retry():
    if random.randint(0, 10) > 2:
        print("大於2,重試...")
        raise Exception("大於2")
    print("小於2,成功!")
random_with_retry()

執行結果如下:

retry還可以接受一些引數,下面是原始碼中Retrying類的初始化函數中可選的引數:

stop_max_attempt_number:最大重試次數,超過該次數就停止重試

stop_max_delay:最大延遲時間(執行這個方法重試的總時間),超過該時間就停止

wait_fixed:兩次retrying之間的等待時間

wait_random_minwait_random_max:用隨機的方式產生兩次retrying之間的等待時間

wait_incrementing_startwait_incrementing_increment:每呼叫一次增加固定時長

wait_exponential_multiplierwait_exponential_max:以指數的形式產生兩次retrying之間的等待時間,產生的值為2^previous_attempt_number * wait_exponential_multiplierprevious_attempt_number是前面已經retry的次數,如果產生的這個值超過了wait_exponential_max的大小,那麼之後兩個retrying之間的停留值都為wait_exponential_max

特別需要注意的是retry_on_exception引數,它接收一個函數,用法如下:

# 判斷異常
def is_MyError(exception):
    print("判斷異常", exception)
    print(isinstance(exception, (ValueError, IOError, ConnectionError)))
    return isinstance(exception, (ValueError, IOError, ConnectionError))
@retry(retry_on_exception=is_MyError)
def random_with_retry():
    """
    隨機一個0-10之前的整數,大於2拋異常,小於2成功
    :return:
    """
    if random.randint(0, 10) > 2:
        print("大於2,重試...")
        raise ValueError("大於2")
    print("小於2,成功!")
random_with_retry()

這裡retry_on_exception引數的大體思想是:接收一個自定義函數is_MyError,在is_MyError函數裡判斷了是不是屬於ValueError, IOError, ConnectionError這三種異常;random_with_retry()函數如果丟擲了異常,會去函數is_MyError()判斷返回的是True還是False,如果是True則繼續重試,如果是False則立即停止並丟擲異常。

還有retry_on_result引數,也是接收一個函數,判斷業務函數返回哪些結果時需要重試,思想和retry_on_exception引數類似。

我們可以根據自己的需要進行合理的搭配這些引數,達到我們想要的效果。

總結

本篇文章就到這裡了,希望能夠給你帶來幫助,也希望您能夠多多關注it145.com的更多內容!


IT145.com E-mail:sddin#qq.com