Python移動測試開發subprocess模組專案實戰

2022-07-21 22:01:17

一、背景

我們日常測試中存在大量重複的造數操作，且流程較長，為了提升測試效率，我們搭建了資料構造平臺。平臺採用了前端 + 指令碼分離的形式，資料構造指令碼獨立存在，頁面和指令碼的關聯關係通過頁面設定進行繫結。

頁面設定中，包含了指令碼的路徑以及啟動命令，因此，執行指令碼的時候需要在伺服器上啟動子程序中去執行指令碼命令。為了能夠了解指令碼的執行情況，還需要獲取指令碼的執行狀態以及執行紀錄檔。

平臺後端語言是 Python，因此，選擇了 Python 中的 subprocess 模組，本文重點闡述 subprocess 模組在專案實戰中遇到的問題以及解決方案。

本文涉及的程式執行環境如下：

Python 版本：3.8.3

作業系統：windows server

二、subprocess 模組基礎

subprocess 模組允許我們啟動一個新程序，並連線到它們的輸入/輸出/錯誤管道，從而獲取返回值。subprocess 模組首先推薦使用的是它的 run 方法，更高階的用法可以直接使用 Popen 介面。

1. subprocess.run 方法

subprocess.run() 方法是 3.5 版本新增的，用於可以接受等待程序執行結束後獲取返回值的場景，如果可以滿足使用需求，官方推薦使用 run() 方法。
subprocess.run() 的執行過程是同步的，指令碼執行結束之前是阻塞的，只有指令碼結束之後才會返回 subprocess.CompletedProcess 物件。

2. subprocess.Popen 方法

subprocess.Popen() 是 subprocess 的核心，子程序的建立和管理都靠它處理。Popen() 相當於 run() 的高階版本，更加靈活，使開發人員能夠處理 run() 方法未涵蓋的更豐富的場景。subprocess.Popen() 是非同步的，程序啟動以後，我們可以通過預先指定好的 stdout 和 stderr 來實時讀取到子程序的輸出。

subprocess.Popen（）常用引數介紹：

args：shell命令，可以是字串或者序列型別（如：list，元組）

stdin, stdout, stderr：分別表示程式的標準輸入、輸出、錯誤控制程式碼

shell：如果該引數為 True，將通過作業系統的 shell 執行指定的命令，args只能是String型別的引數；該引數為False，args可以是序列型別。

Popen 物件常用方法：

poll(): 檢查程序是否終止，如果終止返回 returncode，否則返回 None,專案中通過該方法返回判斷程序是否執行結束。

wait(timeout): 等待子程序終止，如果程序執行時間較長，可以使用該方法來保證程序執行完整。

communicate(input,timeout): 和子程序互動，傳送和讀取資料。

send_signal(singnal): 傳送訊號到子程序。

terminate(): 停止子程序,也就是傳送SIGTERM訊號到子程序。

kill(): 殺死子程序。傳送 SIGKILL 訊號到子程序。

3. run 與 Popen 的同步/非同步對比實驗

Run() 和 Popen() 同步/非同步的簡單對比如下：

從執行結果可以看出，Popen 在子程序執行過程中就可以獲取到紀錄檔，run 需要等待程序執行完成才能獲取到紀錄檔。如果需要執行的命令耗時很短，可以選擇 run 方法。因為我們的資料構造流程通常比較長，需要實時獲取紀錄檔，所以選擇了 Popen。

三、遇到的問題與解決方案

在使用 Popen 的過程中也遇到了一些問題，下面將具體介紹一下遇到的問題以及解決方案。

如何保證獲取到完整的程序執行紀錄檔

subprocess.Popen() 可以獲取到執行過程中的紀錄檔了，那我們如何保證程序紀錄檔獲取的完整性呢？我們來看下具體方案：

方案一：這是我們最開始採用的方案。通過獲取方法 poll() 返回的狀態碼來檢查程序是否終止。如果終止，返回 returncode，否則返回 None，程式碼如下：

該方案在使用的過程中存在問題。當子程式已經執行完畢，紀錄檔還沒有獲取完整，會出現紀錄檔接收不全的情況。為了解決這種問題，保證紀錄檔的完整性，我們選擇通過判斷紀錄檔是否讀取完畢作為判斷依據，詳細參見方案二。

方案二：通過判斷紀錄檔是否讀取完畢保證紀錄檔完整性。程式碼如下：

這種方法看似解決了紀錄檔不全的問題，但是存在著一定的風險。紀錄檔為 None 無法有效保證子程序執行結束（雖然經過多方實踐，暫時沒有發現紀錄檔為 None 但指令碼未執行結束的情況）。為了安全起見，我們還是需要兼顧一下程序的執行狀態，具體參見方案三。

方案三：通過判斷 poll() 返回狀態和紀錄檔返回值，也就是說，程式狀態結束且返回物件為空，才表示子程序已經執行結束，並且獲取到了完整的紀錄檔，程式碼如下：

該方案已經比較完善了，通過子程序執行結束並且執行紀錄檔為 None，保證執行紀錄檔的完整性。美中不足的是，紀錄檔資訊可能會比實際的多一些，當輸出先讀取完畢，子程序還沒有結束，我們會獲取到一部分空行，為了紀錄檔的美觀度，我們可以進一步優化，獲取紀錄檔的時候，過濾掉空行，程式碼如下：

通過判斷輸出流和程序的執行狀態，完美的解決了上面的問題，保證了紀錄檔的完整性與正確性。

如何保證指令碼程序正常終止當指令碼執行以後，我們可能會因為某些原因想終止指令碼的執行，如引數錯誤等。在我們專案程式碼中，使用 Popen.terminate() 去終止程序的時候，發現命令只終止了父程序，喚起的子程序仍然在執行。

為了找到原因，先看一下專案中建立 Popen 的程式碼：

引數介紹的時候提到過，shell 為 True 或 False 時，command 的型別是有要求的。因為我們 command 傳值是 String 型別，引數 shell 只能設定為 True。當 shell=True 的時，程式會建立一個 shell 程序，command 是 shell 程序的子程序。

我們再來看下 Popen.terminate() 做了什麼？官方的說明如下：