首頁 > 軟體

如何利用python批次提取txt文字中所需文字並寫入excel

2022-07-27 18:02:09

1.提取txt文字

我想要的文字是如圖所示,寶可夢的外貌描述文字,由於原本的資料來源結構並不是很穩定,而且也不是表格形式,因此在csdn上查了半天。

最原始的一行一行提取(不建議,未採用)

fi = open("D:python_learningdatadataAxew.txt","r",encoding="utf-8")
wflag =False                #寫標記
newline = []                #建立一個新的列表


for line in fi :            #按行讀入檔案,此時line的type是str
    if "=" in line:        #重置寫標記
        wflag =False
    if "原型剖析" in line:     #檢驗是否到了要寫入的內容
        wflag = True
        continue
    if wflag == True:
        K = list(line)
        if len(K)>1:           #去除文字中的空行
            for i in K :       #寫入需要內容
                newline.append(i)

strlist = "".join(newline)      #合併列表元素
newlines = str(strlist)         #list轉化成str
print(newlines)
"""
for D in range(1,100):                       #刪掉句中()
    newlines = newlines.replace("({})".format(D),"")

for P in range(0,9):                               #刪掉前面數值標題
    for O in  range(0,9):
        for U in range(0, 9):
           newlines = newlines.replace("{}.{}{}".format(P,O,U), "")
fo.write(newlines)

fo.close()
fi.close()

"""

原始碼為:將提取出的txt文字儲存到另外一個txt中,跟我的需求不符合,因此註釋掉了

正規表示式提取

由於txt檔案開啟後不是資料格式,因此先轉為列表形式(一行是一個元素);再將列表元素合到一起,轉為一個元素。
re.compile函數可以建立正則函數

pattern= re.compile(r’=棲息地=n(.*?)n==’, flags=re.DOTALL)

flags=re.DOTALL 這樣找尋文字時可以跨行;

’=棲息地=n(.*?)n==’ 正規表示式表示只要小括號裡面的以‘=棲息地=n’開頭,‘n==’結尾的所有文字

pattern.findall函數可以在文字中找到符合正則函數的文字,但是莫名其妙會重複好多次,這個問題應該是我哪裡寫錯了,但是因為實在沒空糾結這個,所以直接用result=pattern.findall(f2)[0]來提取第一個。

path='D:\python_learning\data\data\'+df.iloc[0,3]+'.txt'
#為迴圈做準備
import re

f1=list(open(path,"r",encoding="utf-8"))#列表格式
f2="".join(f1)#合併列表元素
#print(type(f3))

pattern= re.compile(r'===棲息地===n(.*?)n==', flags=re.DOTALL)#在所有行裡找以‘===棲息地===n'開頭,‘n=='結尾的所有文字

if len(pattern.findall(f2))==0:#有可能找不到,以防報錯
    result='none'
else:
        result=pattern.findall(f2)[0]

print(result)

2.增加資料框的列

由於我需要在已有資料集上增加上面提取到的文字資料,因此我準備先把csv資料放到Python裡變成資料框,再把資料框裡擴列,再改內容,再寫入新的csv。

參考了程式碼,這個比較亂,只看第一個import下面就行,我單純就是留個記錄:

#資料框增加列的參考
import pandas as pd
df = pd.DataFrame(columns = list('abcd'),data = [[6,7,8,9],[10,11,12,13]])
#在b列前面增加一個m列
col_name = list(df.columns)
col_name.insert(1,'m')
df.reindex(columns = col_name,fill_value = 12)
#在b列前一次性增加三列h,n,g
col_name = col_name[0:2]+list('hng')+col_name[2:]
df.reindex(columns = col_name,fill_value = 10)
import pandas as pd

df = pd.DataFrame(columns =word,data = [['Bulbasaur',7,8,9],[10,11,12,13]])
print(df)
col_name = list(df.columns)#列名
print(col_name )
#在b列前面增加一個m列

col_name.insert(1,'m')
print(col_name)
df=df.reindex(columns =['name','概述', '外貌', '棲息地', '原型剖析'],fill_value = 12)
print(df)

3.引入基礎csv資料,並擴列

是之後迴圈和寫入的基礎

import pandas as pd
data_name = pd.read_csv(r'D:python_learningdatabasedata.csv')
#print(data_name)
word=['概述','外貌','棲息地','原型剖析']
col_name = list(data_name.columns)#列名
col_name = col_name +word#新增新的列名
#print(col_name )
df=data_name.reindex(columns = col_name,fill_value =' ')#在資料框中增加四列,填充空格
print(df)
#print(df.iloc[2,2])

我的資料是這樣的:

彙總

把上面的放在一起,並且把需要回圈的模組寫成函數:

# #  引入包

# In[ ]:

import re
import pandas as pd

# # 引入基礎資料

# In[135]:

data_name = pd.read_csv(r'D:python_learningdatabasedata.csv')
#print(data_name)
word=['概述','外貌','棲息地','原型剖析']

col_name = list(data_name.columns)#列名
col_name = col_name +word#新增新的列名

#print(col_name )
df=data_name.reindex(columns = col_name,fill_value =' ')#在資料框中增加四列,填充空格
#print(df)
#print(df.iloc[2,2])

# # 引入函數

# In[ ]:

#去除空行函數
def deletespace(path1,path2):
    with open(path1,'r',encoding = 'utf-8') as fr,open(path2,'w',encoding = 'utf-8') as fd:
            for text in fr.readlines():
                    if text.split():
                            fd.write(text)
            print('輸出成功....')
    fr.close()
    fd.close()

# In[143]:

#正則找文字
def find(path,conversion):
    f1=list(open(path,"r",encoding="utf-8"))#列表格式
    f2="".join(f1)#合併列表元素
    #print(type(f3))

    pattern= re.compile(conversion, flags=re.DOTALL)#在所有行裡找以‘===棲息地===n'開頭,‘n=='結尾的所有文字

    if len(pattern.findall(f2))==0:#有可能找不到,以防報錯
        result='none'
    else:
            result=pattern.findall(f2)[0]
    return result

# # 起始準備 把所有空行消除,不需要執行第二遍

# In[ ]:

data_name = pd.read_csv(r'D:python_learningdatabasedata.csv')
for word in df.iloc[:,3]:
    path1='D:\python_learning\data\data\'+word+'.txt'#爬蟲獲取的資料
    path2='D:\python_learning\data\description\'+word+'.txt'
    deletespace(path1,path2)

# # 開始迴圈

# In[ ]:

word=['概述','外貌','棲息地','原型剖析']#根據文字中情況進行正則
conversion=['==概述==n(.*?)==','===外貌===n(.*?)==','===棲息地===n(.*?)==','==原型剖析==n(.*?)==']#正則文字

word1=col_name[7]
print(word1)
newlines=seek(path,word1)
print(newlines)

# In[145]:

print(len(df))
print(len(list(df.columns)))

# In[150]:

for i in range(len(df)):
    for j in range(6,len(list(df.columns))):
        path='D:\python_learning\data\description\'+df.iloc[i,3]+'.txt'
        k=j-6
        cword=conversion[k]
        result=find(path,cword)
        df.iloc[i,j]=result
# In[152]:

df.to_csv('df.csv',encoding ='utf_8_sig')#輸出中文必須用這個utf_8_sig  編碼才是中文
print("已輸出檔案")
#出現問題,很多匹配不到,發現是原始文字的原因

總之我文字描述的準備是差不多了。

總結 

到此這篇關於如何利用python批次提取txt文字中所需文字並寫入excel的文章就介紹到這了,更多相關python批次提取txt文字寫入excel內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!


IT145.com E-mail:sddin#qq.com