詳解Python中的資料淨化工具flashtext

2022-06-27 10:00:58

1、準備flashtext環境

通過pip的方式來安裝flashtext，或是其他的方式也是可以的，這裡預設使用的是清華大學的映象站。

pip install flashtext -i https://pypi.tuna.tsinghua.edu.cn/simple

在準備好flashtext環境以後，來看一下flashtext重要的使用過程，幫助我們能更好的完成資料淨化操作。

2、新增關鍵詞

這裡新增關鍵詞時是通過單個關鍵詞的來新增到關鍵詞詞庫中，使用add_keyword函數來新增。第一次參數列示需要新增的關鍵詞，第二個引數則表示為第一個關鍵詞的別名，如果關鍵詞被找到了則顯示為別名的形式，若是沒有使用第二個引數作為別名則還是顯示原有的名稱。

from flashtext import KeywordProcessor

# 初始化關鍵詞庫處理器
processor = KeywordProcessor()

# 常規方式新增關鍵詞
processor.add_keyword('Python')

# 別名方式新增關鍵詞
processor.add_keyword('Scala', 'Java')

這樣分別使用兩種方式已經將需要的關鍵詞新增到詞庫處理器中了。

3、提取關鍵詞

通過上一步新增關鍵詞，現在詞庫處理器中已經存在有關鍵詞的資訊了，再使用extract_keywords將關鍵詞提取出來即可。

# 在一個字串中提取出關鍵詞資訊
found = processor.extract_keywords('I like Python and Scala.')

# 結果
print(found)

# ['Python', 'Java']

結果出來了，跟我們預想的是一樣的，並Scala也顯示為了Java。

4、替換關鍵詞

替換關鍵詞使用的是replace_keywords函數，前提是詞庫中擁有別名的詞才能被替換，就像上面的Scala被顯示成了的Java一樣。

替換一個字串中的Scala關鍵詞，由於Scala對應的別名是Java，所以一個字串中的Scala應該被替換為Java。

replaced = processor.replace_keywords('I like Scala.')

# 結果
print(replaced)

# I like Java.
# Scala 果真就被替換為了Java。

5、獲取所有關鍵詞

有些時候，在KeywordProcessor詞庫處理器中新增了哪些關鍵詞可能自己都記不清楚了，這個時候可以使用get_all_keywords函數來獲取當前的所有關鍵詞。

all_keywords = processor.get_all_keywords()

# 結果
print(all_keywords)
# {'python': 'Python', 'scala': 'Java'}

6、批次的新增關鍵詞

當關鍵詞庫需要更多的關鍵詞的時候，可以通過列表或是字典的方式來進行批次的新增。對應的函數分別是add_keywords_from_list、add_keywords_from_dict函數。

# 初始化一個字典通過用來做批次新增
dict_ = {
    'java': ['java_ee', 'java_se', 'java_me'],
    'python': ['pandas', 'all']
}

# 通過字典的方式來批次新增關鍵詞
processor.add_keywords_from_dict(dict_)

# 從批次新增的關鍵詞中匹配關鍵詞
result = processor.extract_keywords('looking for java_ee and pandas.')

# 結果
print(result)

# ['java', 'python']
# 通過列表的方式批次新增關鍵詞

processor.add_keywords_from_list(['scala', 'python', 'scala', 'go'])

# 通過get_all_keywords檢視一下所有關鍵詞
all_keywords = processor.get_all_keywords()

# 結果
print(all_keywords)
# {'python': 'python', 'pandas': 'python', 'scala': 'scala', 'java_ee': 'java', 'java_se': 'java', 'java_me': 'java', 'all': 'python', 'go': 'go'}

發現所有的關鍵詞已經新增到詞庫處理器中，並且重複的不會再次新增。

7、批次刪除關鍵詞

批次刪除詞庫處理器中的關鍵詞同樣是有兩種方式，一個是列表、另一個是字典。對應的函數分別是remove_keywords_from_list、remove_keywords_from_dict函數。

# 批次移除列表中的關鍵詞
processor.remove_keywords_from_list(['python','java_ee','java_me'])

# 批次移除字典中的關鍵詞
processor.remove_keywords_from_dict({'python': ['pandas','all']})

# 通過get_all_keywords檢視一下所有關鍵詞
all_keywords = processor.get_all_keywords()

# 結果
print(all_keywords)

# {'scala': 'scala', 'java_se': 'java', 'go': 'go'}

發現需要移除的關鍵詞已經被全部移除了。