Python實現刪除windows下的長路徑檔案

2022-07-21 14:02:45

1.文章背景

近期，筆者所在公司的某業務系統的儲存臨近極限，伺服器馬上就要跑不動了，由於該業務系統A包含多個子系統A1、A2、A3 ... An，這些子系統的中間儲存檔案由於設計原因，都儲存在同一個父級目錄之內，唯一不同的是，不同子系統產生的檔案和資料夾的名字都以該子系統名開始。如A1子系統產生的檔案命名方式均為A1xxxxxx, A2子系統產生的檔名均為A2xxxxx。現在要刪除其中一些子系統的歷史檔案，以釋放伺服器空間，幾十T的資料，存放在一起，手動刪除肯定不顯示，只能藉助程式自動化實現了，使用什麼呢？自然想到了python。其實單純刪檔案這一個需求我認為不值得長篇闊論，但是其中遇到了一些特殊有趣的問題和一些有意思的解決方案，所以想與諸位分享一下，比如windows系統下的超長檔案刪除, 如從閱讀官方英文檔案尋找解決方案等等，下面進入正題。

2.使用 python 刪除檔案

使用python刪除檔案有很多方式，最直接也是最方便的方式就是呼叫內建函數：

os.remove() 刪除檔案
os.rmdir() 刪除一個空資料夾
shutil.rmtree() 刪除一個資料夾及該資料夾下所有內容（包括子目錄及檔案）

也就是，此問題的的解決方案，核心就是圍繞上述三個函數打交道。轉到我們遇到的問題，業務系統A包含多個子系統A1、A2、A3 ... An，這些子系統的中間儲存檔案由於設計原因，都儲存在同一個父級目錄之內，唯一不同的是，不同子系統產生的檔案和資料夾的名字都以該子系統名開始。如A1子系統產生的檔案命名方式均為A1xxxxxx, A2子系統產生的檔名均為A2xxxxx，現在的目的就是要在該刪除指定子系統所產生的檔案，保留其他子系統的檔案。

將需求拆解下，實際上就是解決下列4個問題：1、怎麼刪除一個檔案？2、怎樣識別一個檔案或資料夾是某個子系統產生的？3、如何判斷一個路徑是檔案還是目錄？4、如何定位所有指定的子系統產生的檔案和資料夾？

對於問題1，在本節開始就闡述過，使用 python 的內建函數進行刪除即可:

os.remove("path") # 刪除指定檔案
os.rmdir("path") # 刪除一個空資料夾
shutil.rmtree("path") #  刪除一個資料夾及該資料夾下所有內容（包括子目錄及檔案）

對於問題2，由於特定子系統產生的檔案和資料夾的命名方式都是固定的模式，如A1子系統產生的檔名均為A1xxxxx，故可通過關鍵字匹配的方式進行識別。一種可能的方式為：

if keywords in filepath: # 如果檔名包含關鍵字keywords
    os.remove(filepath) # 刪除檔案
else:
    pass

對於問題3，由於刪除目錄和刪除檔案的方式不一致，故需要在刪除前判斷一個路徑是目錄還是檔案，根據其型別選擇合適的刪除方式，這個在 python 中可以使用 **os.path.isdir()**之類的函數進行判斷，主要是下列函數：

os.path.isdir("path") # 返回true則為目錄，false則為檔案
os.path.isfile("path") # 返回true則為檔案，false則為目錄

對於問題4，如何定位所有要刪除的檔案，這個問題實際上就是一個指定目錄檔案遍歷的問題，即如何遍歷一個指定目錄的所有資料夾及檔案。對於這個問題，一般有兩種解決方案，一是深度優先遍歷方式，一是廣度優先遍歷方式，兩種方式在本例中效率是一致的，因為我們最終都要遍歷所有的檔案。另外，幸運的是，python實在是過於強大，其內建的函數已經幫助我們實現了一個廣度優先目錄遍歷方法，及 os.walk("path") 方法，該方法就是遍歷 path 目錄下的所有檔案及資料夾，一個典型的用法如下:

import os

path = "C:\A\"

for root, dirs, files in os.walk(path):
    print(root)
    print(dirs)
    print(files)

上例中，root 代表當前遍歷到的路徑，dirs 表示當前路徑下所有的子目錄， files 表示當前路徑下的所有子檔案。通過這種方式就能全部遍歷指定目錄了。

問題都分解開了，下面將問題組合一下就完成程式碼實現.

最終的程式碼實現為：

import os
import shutil

path = "C:\A\"
keyword = "A1"

for root, dirs, files in os.walk(path):
    for dir in dirs:
        if keyword in dir:
            rmpath = os.path.join(root, dir)
            print("刪除資料夾: %s" % rmpath)
            shutil.rmtree(rmpath)
    for file in files:
        if keyword in file:
            rmpath = os.path.join(root, file)
            print("刪除檔案: %s" % rmpath)
            os.remove(rmpath)

即通過廣度優先方式(os.walk())遍歷指定目錄，逐個判斷該目錄下所有子目錄和檔案是否滿足關鍵字條件，滿足就刪除。

執行效果為：

看似需求到此基本上就很好的解決了，但是實際測試中發現有的很深的目錄卻沒有刪除，刪除該目錄時報了一個錯，錯誤描述如下：

Unexpected error: (< type 'exceptions.WindowsError'>, WindowsError(3, 'The system cannot find the path specified'), < traceback object at 0x0000000002714F88>)

大致意思就是python找不到這個路徑，可是為什麼呢？為此，我繼續進行一番資料查詢，後來大致定位了是由於檔案路徑過長導致的，是由於windows系統使用者態的預設路徑長度不能超過256個位元組導致的。但是官方說256個位元組是最長，但為何能建立超過256的呢，所以既然能建立，那就一定能刪除，但是需要一些方法，經過一番學習，找到了好幾種方法，下面介紹其中一種最為實用的方法，另外幾個比如使用壓縮軟體壓縮後刪除（百度知道的結果）適合手動但不適合程式設計解決。這個方法在下一節中繼續講述。

3.檔案系統關於長路徑檔案的相關定義

為解決windows下的長檔案刪除的問題，最為權威的資料莫過於windows官方的描述，我閱讀了微軟關於檔名長度的這一塊的定義及說明，找到解決方案，微軟的原文如下：

關鍵意思如下：1、Windows API 提供的檔案路徑理論上最長是 32767 個位元組，普通狀態下給使用者使用是不超過256個字元，說是為了使使用者操作更加方便。這裡不得不吐槽一下了，確實操作方便了，但是方便的同時也可能帶來不便，明明定義了32767這麼長的位元組，只給用256，未免太摳搜了一點

2、使用者如果想要打破這個長度限制，可以通過一個特殊方式告訴windows系統自己想要使用超長檔案，這個特殊的方式就是在絕對路徑前加上** "?" **字串。

3、這篇檔案後面還有描述在windows10以後如何通過登入檔的方式接觸檔名長度限制，這裡就沒有截圖了，因為不通用，win7怎麼辦呢？有興趣的同學可以檢視其原文連結閱讀

好了，看到這，解決方法呼之欲出，其實簡單得不能太簡單，直接在絕對路徑前加上一個"?"即可：

# 獲取目標路徑的絕對路徑，並在路徑前加上\?，
# 以解除windows的檔案長度限制
path = '\\?\' + os.path.abspath(path)

4.改造 python 程式，刪除長路徑檔案

根據上一節，對python程式進一步進行改造，加入windows長檔名限制解除，最後的完美刪除工具就成型了:

import os
import shutil

path = "C:\A\"
keyword = "A1"

# 獲取目標路徑的絕對路徑，並在路徑前加上\?，
# 以解除windows的檔案長度限制
path = '\\?\' + os.path.abspath(path)

for root, dirs, files in os.walk(path):
    for dir in dirs:
        if keyword in dir:
            rmpath = os.path.join(root, dir)
            print("刪除資料夾: %s" % rmpath)
            shutil.rmtree(rmpath)
    for file in files:
        if keyword in file:
            rmpath = os.path.join(root, file)
            print("刪除檔案: %s" % rmpath)
            os.remove(rmpath)

雖然程式碼很短，只新增了一行，但是這一行，卻完成了一個超級核心的任務，真可謂是靈魂一行啊，最後該工具中如在生產環境中發揮了其出色的作用，使伺服器繼續運轉如飛了。