Python處理文字資料的方法詳解

import os
# 建立一個列表用來儲存新的內容
list = []                                     
with open("task1.trainSentence.new", "r",encoding='xxx') as file_input: # 開啟.new檔案,xxx根據自己的編碼格式填寫
    with open("exp1_1.txt", "w", encoding='xxx') as file_output:        # 開啟exp1_1.txt,xxx根據自己的編碼格式填寫檔案如果沒有就建立一個
 
        for Line in file_input:                                         # 遍歷每一行的檔案
            arr = Line.split('t')                                      # 以t為分隔符讀取
            if arr[0] not in list:                                      # if the word is not in the list
                list.append(arr[0])                                     # add the word to the list
            file_output.write(arr[0]+"t"+arr[1]+"t"+arr[2]+"t"+arr[3]+"t"+arr[4]+"n")  # write the line to the file
file_input.close()                                                      #關閉.new檔案
file_output.close()                                                     #關閉建立的txt檔案       

import os
file_1 = open("exp1_1.txt", encoding='xxx')             # 開啟檔案,xxx根據自己的編碼格式填寫
os.mkdir("exp1_train")                                  # 建立目錄
os.chdir("exp1_train")                                  # 修改程序的工作目錄（使用該目錄）
a = file.readline()                                     # 按行讀取exp1_1.txt檔案
arr = a.split("t")                                     # 按t間隔符作為分割
b = 1                                                   #設定分組檔案的序列
file_2 = open("{}.txt".format(b), "w", encoding="xxx")  # 開啟檔案,xxx根據自己的編碼格式填寫
for line in file_1:                                     # 按行讀取檔案
    arr_1 = line.split("t")                            # 按t間隔符作為分割
    if arr[0] != arr_1[0]:                              # 如果讀取檔案的第一列內容與存入新檔案的第一列型別不同
        file_2.close()                                  # 關掉該檔案
        b += 1                                          # 檔案序列加一
        f_2 = open("{}.txt".format(b), "w", encoding="xxx") # 建立新檔案，以另一種型別分類,xxx根據自己的編碼格式填寫
    arr = line.split("t")                              # 按t間隔符作為分割
    f_2.write(arr[0]+"t"+arr[1]+"t"+arr[2]+"t"+arr[3]+"t"+arr[4]+"t""n") # 將相同型別的檔案寫入
f_1.close()                                             # 關閉題目一建立的exp1_1.txt檔案
f_2.close()                                             # 關閉建立的最後一個型別的檔案

import os

with open("exp1_1.txt", encoding='xxx') as file_in1: # 開啟檔案,xxx根據自己的編碼格式填寫
    i = 1                                            # 型別序列
    arr2 = {}                                        # 建立字典
    for line in file_in1:                            # 按行遍歷
        arr3 = line[0:2]                             # 讀取關係
        if arr3 not in arr2.keys():
            arr2[arr3] = i                           
            i += 1                                   # 型別+1
    file_in = open("task1.test.new")                 # 開啟檔案task1.test.new
    os.mkdir("exp1_test")                            # 建立目錄
    os.chdir("exp1_test")                            # 修改程序的工作目錄（使用該目錄）
    for line in file_in:
        arr = line[0:2]
        with open("{}_test.txt".format(arr2[arr]), "a", encoding='xxx') as file_out:
            arr = line.split('t')
            file_out.write(line)
    i = 1
    file_in.seek(0)
    os.mkdir("exp1_index")
    os.chdir("exp1_index")
    for line in file_in:
        arr = line[0:2]
        with open("index{}.txt".format(arr2[arr]), "a", encoding='xxx') as file_out:
            arr = line.split('t')
            line = line[0:-1]
            file_out.write(line + 't' + "{}".format(i) + "n")
        i += 1

import pandas as pd
data = pd.read_csv(r"C:mars_tianchi_songs.csv")       # 讀取資料
Newdata = data.drop_duplicates(subset=['artist_id'])   # 刪除重複值
artist_sum = Newdata['artist_id'].count()              
#artistChongFu_count = data.duplicated(subset=['artist_id']).count() artistChongFu_count = data.loc[:,'artist_id'].value_counts() 重複次數，即每個歌手的歌曲數目
songChongFu_count = data.loc[:,'songs_id'].value_counts()  # 沒有重複（歌手）
artistChongFu_count.loc['artist_sum'] = artist_sum         # 沒有重複（歌曲）artistChongFu_count.to_csv('exp2_1.csv')                   # 輸出檔案格式為exp2_1.csv

import pandas as pd import os

data = pd.read_csv(r"C:mars_tianchi_songs.csv")
data_two = pd.read_csv(r"C:mars_tianchi_user_actions.csv")
num=pd.merge(data_two, data) num.to_csv('exp2_2.csv')

import pandas as pd
data =pd.read_csv('exp2_2.csv')
DataCHongfu = data.groupby(['artist_id','Ds'])['gmt_create'].sum()#重複項相加DataCHongfu.to_csv('exp2_3.csv')