Python實現PDF文字識別提取並寫入CSV檔案

2022-03-02 10:01:02

1. 前言

掃描件一直受大眾青睞，任何紙質資料在掃描之後進行存檔，想使用時手機就能開啟，省心省力。但是掃描件的優點也恰恰造成了它的一個缺點，因為是通過電子裝置掃描，所以出來的是影象，如果想要處理檔案上的內容，直接操作是無法實現的。

那要是想要參照其中的內容怎麼辦呢？別擔心，Python幫你解決問題。

2. 需求描述

現有一份pdf掃描件，我們想把其中的文字提取出來並且分三列寫入csv檔案，內容及效果如下：

pdfexample

csvexample

3. 開始動手動腦

pdf掃描件是檔案掃描成電腦圖片格式後轉化成的，提取其中的文字就相當於識別圖片內的文字。所以，我們的工作就是將pdf轉成圖片，再用ocr工具提取圖片中的文字。

3.1 安裝相關第三方包

pip3 install pdf2image pytesseract

3.2 匯入需要用到的第三方庫

import os   #處理檔案
from pdf2image import convert_from_path  # pdf轉圖片
import pytesseract  # 識別圖片文字
import csv  # 處理csv檔案

3.3 讀取pdf檔案，並識別內容

tess_ocr(pdf_path, lang, first_page, last_page)

將pdf檔案拆分成圖片，並提取文字寫入文字檔案

pdf_path：pdf檔案的儲存路徑
image：代表PDF檔案每頁的PIL影象列表
first_page ：允許設定由pdftoppm處理的第一個頁面；
last_page：允許設定最後一頁由pdftoppm處理
fmt：允許指定輸出格式。目前支援的格式是jpg、png和ppm；
output_folder：圖片儲存路徑

def tess_ocr(pdf_path, lang,first_page,last_page):
  # 建立一個和pdf同名的資料夾
   images = convert_from_path(pdf_path, fmt='png',first_page=first_page,last_page=last_page,output_folder=imagefolder,userpw='site')  # 轉成圖片
  text = ''
  for img in images:    
       text += pytesseract.image_to_string(img, lang=lang) # 識別圖片文字  
       with open(r'exampledata.txt' 'a', encoding='utf-8') as f: #寫入txt檔案
       f.write(text)

執行結果

生成一個同名的資料夾存放拆分的圖片，接著提取圖片文字寫入data.txt

執行問題

問題丟擲1：

pdf2image.exceptions.PDFInfoNotInstalledError: Unable to get page count. Is poppler installed and in PATH?

解決措施：下載 poppler。

>1 方法一：設定環境變數 poppler/bin；

>2 方法二：

引數指定絕對路徑：

images = convert_from_path(pdf_path=pdf_file_path, poppler_path=r'poppler中bin檔案所在地址')

問題丟擲2：

pytesseract.pytesseract.TesseractNotFoundError: tesseract is not installed or it's not in your PATH. See README file for more information.

解決措施：額外下載安裝tesseract-ocr並設定環境變數。

3.4 對識別的資料進行處理，寫入csv檔案

modification(infile, outfile)

清洗生成的文字檔案

infile:需要進行處理的檔案地址
outfile:處理後生成的新檔案的地址

def modification(infile, outfile):
  infp = open(infile, "r",encoding='utf-8')
  outfp = open(outfile, "w",encoding='utf-8')
  lines = infp.readlines() #返回列表，包含所有的行。
  #依次讀取每行
  for li in lines:  
    if li.split():             #str.split(str="", num=string.count(str)),過濾檔案中的空行  
      # 根據識別情況對資料進行清洗  
      li = li.replace('[', ' ').replace(']', '')  
      outfp.writelines(li)    
  infp.close()
  outfp.close()

執行結果

生成一個新的txt檔案，新檔案刪除了data.txt中的空行，將原檔案中錯誤識別的內容替換成正確的。

writercsv(intxt,outcsv)

將文字檔案按空格分列寫入csv表格

intxt：文字檔案地址
outcsv：新生成的csv檔案

def writercsv(intxt,outcsv):
  # 使用newlines=''可保證儲存的資料不空行。
  csvFile = open(outcsv, 'a',newline='', encoding='utf-8') 
  writer = csv.writer(csvFile)
  csvRow = []
  f = open(intxt,'r',encoding='utf-8')
  for line in f:
      csvRow = line.split() #以空格為分隔符
      if len(csvRow)>1 and len(csvRow)<=3:  #約束條件，視情況而定
         writer.writerow(csvRow)
  f.close()
  csvFile.close()

執行結果

生成一個三列csv檔案，第一列是英文名，第二列是中文名，第三列是所在國家