Python UnicodedecodeError編碼問題解決方法彙總

2022-08-18 22:02:03

1.情景一

讀檔案時常需要將內容轉為utf8，文字可正常顯示，但是如果原檔案內容編碼格式不是utf8就會報錯UnicodedecodeError。如下：

問題：

try:
     fileObj = open(os.path.join(path,filename),'r')
       textLines = fileObj.readlines()
       fileObj.close()
   except IOError as err:
       print('開啟檔案%s失敗:%s'%(filename,err))

解決方法：

程式碼改為：

try:
     fileObj = open(os.path.join(path,filename),'r'，encoding='utf-8')
       textLines = fileObj.readlines()
       fileObj.close()
   except IOError as err:
       print('開啟檔案%s失敗:%s'%(filename,err))

此方法可以解決一部分編碼問題，但是卻不是一勞永逸的，在下一批檔案因其他功能擴充套件需要讀寫時，上面程式又報出UnicodedecodeError:gbk codec cant decode…

2.情景二

針對上面的編碼問題沒有得到很好的解決，決定專門寫一個批次將資料夾下面的檔案編碼格式改為utf-8的指令碼，網上查資料得知python的第三方模組chardet，但是要安裝這個擴充套件庫。
chardet是一個非常好的編碼識別模組，

1.chardet庫的安裝
在外網機上安裝這個模組是特表簡單的，直接執行pip chardet install命令即可，但是我的工作環境是內網，因為這個專案要處理的檔案量多且大，所以也在Windows系統（編碼問題比Linux多），因此安裝chardet模組也花費了好大一會時間。

a.在外網下載好安裝包chardet-3.0.4.tar.gz。
b.解壓縮放在python安裝路徑PythonLibsite-packages下，命令切換到當前目錄，執行python setup.py install。
c.安裝完畢後import chardet仍然未成功

上面的安裝步驟是沒有問題的，我想應該是因為某個依賴沒有安裝吧，因此突然想到一個比較笨的方法：就是在外網機上執行pip chardet install先安裝好，然後到安裝目錄下把關於chardet的安裝目錄chardet和chardet-3.0.4.dist-info拷貝到內網機PythonLibsite-packages下，再import chardet時竟然成功了。。。。

編寫檔案編碼格式轉換指令碼

#!/usr/bin/python
# _*_ coding:utf-8 _*_
#更改檔案編碼，檔案統一改為utf-8無BOM格式
import os
from chardet import detect

#資料夾目錄
g_filedir = r'C:UsersDesktopnmgSS'

def runcoding(path):
    for filename in os.listdir(path):
        if filename.endswith('.txt'):
            with open(os.path.join(path,filename),'rb+') as fileObj:
                fileContent = fileObj.read()
                #判斷編碼格式
                encodingtype = detect(fileContent)['encoding']
               
                print(encodingtype)
                #格式轉換
                fileContent = fileContent.decode(encodingtype).encode('utf8')
                #寫回檔案
                fileObj.seek(0)
                fileObj.write(fileContent)

if __name__=="__main__":
    runcoding(g_filedir)

在處理字串時，常常會遇到不知道字串是何種編碼，如果不知道字串的編碼就不能將字串轉換成需要的編碼。上面的chardet模組就能很好的解決這個問題。

此時當前資料夾下的檔案順利的進行了讀寫，再次readlines時沒有報UnicodedecodeError問題。可以檢測到gbk、Unicode、utf8、utf16、utf8（big）等編碼，也不用再一個編碼一個編碼的去轉換，一個檔案一個檔案的轉換。以為編碼問題終於一次性解決了。

但是。。。到另一個省份的一批檔案要進行批次操作時，進行到第49個檔案就終止了，又報出UnicodedecodeError：‘utf8’ codec cant decode問題。。。。用上面指令碼對該省份資料夾下檔案進行格式轉換時報出錯誤：TypeError:decode() argument 1 must be str ,not None。

3.情景三

針對情景2的問題，仍要繼續排查編碼的問題，根據執行的情景二的指令碼時報出的錯誤在指令碼中新增程式碼，列印出返回None的檔名。

修正程式碼

#!/usr/bin/python
# _*_ coding:utf-8 _*_
#更改檔案編碼，檔案統一改為utf-8無BOM格式
import os
from chardet import detect

#資料夾目錄
g_filedir = r'C:UsersDesktopnmgSS'

def runcoding(path):
    for filename in os.listdir(path):
        if filename.endswith('.txt'):
            with open(os.path.join(path,filename),'rb+') as fileObj:
                fileContent = fileObj.read()
                #判斷編碼格式
                encodingtype = detect(fileContent)['encoding']
                #ansi編碼檢測結果為none
                if encodingtype==None:
                    print(filename)
                    continue
                #print(encodingtype)
                #格式轉換
                fileContent = fileContent.decode(encodingtype).encode('utf8')
                #寫回檔案
                fileObj.seek(0)
                fileObj.write(fileContent)

if __name__=="__main__":
    runcoding(g_filedir)

然後定位到那個檔案，記事本開啟再另存為檢視編碼方式為ANSI，或者使用notpad++檢視編碼型別。

記事本預設是以ANSI編碼儲存文字檔案的，而正是這種編碼存在的bug招致了上述怪現象。假如儲存時選擇Unicode、Unicode (Big Endian)、UTF-8編碼，就正常了。此外，假如以ANSI編碼儲存含有某些特別符號的文字檔案，再次開啟後符號也會變成英文問號。

這裡可以得知，檔案以ansi編碼時decode（）函數返回的事None。

4. chardet模組detect()函數

chardet模組中的chardet.detect()函數可以檢測編碼。返回結果如下：

data = '我最美'.encode('gbk')
chardet.detect(data)
 
Out[103]: {'confidence': 0.73, 'encoding': 'ISO-8859-1', 'language': ''}

輸出結果confidence為概率。

encoding為字串的編碼方式。

編碼問題最困擾人，好在今天順利解決了，各個省份的資料也都按照格式要求修改完畢，已經上報到各省份，晚上就花點時間整理以下嘍。

到此這篇關於Python UnicodedecodeError編碼問題解決方法彙總的文章就介紹到這了,更多相關Python UnicodedecodeError編碼內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！

Python UnicodedecodeError編碼問題解決方法彙總

目錄

1.情景一

2.情景二

3.情景三

4. chardet模組detect()函數

熱門文章