一文帶你掌握Python中文詞頻統計

2023-02-08 22:00:25

分詞：需要對中文文字進行分詞，分詞的目的是將文字分解為獨立的詞語，便於後續的詞頻統計。
字典：使用字典儲存每個詞的詞頻。字典的鍵為詞語，值為詞頻。
遍歷：遍歷分詞後的結果，統計每個詞出現的次數。
排序：對字典按照詞頻排序，以得到詞頻最高的詞。
輸出：最後，可以輸出詞頻最高的詞，也可以輸出完整的詞頻字典。

Python中文詞頻分詞

安裝 jieba 庫

pip install jieba

使用 jieba.cut() 函數對中文文字進行分詞

import jieba

text = "夢想橡皮擦的Python部落格很不錯"
seg_list = jieba.cut(text)
print(list(seg_list))

輸出結果：

['夢想', '橡皮擦', '的', 'Python', '部落格', '很', '不錯']

使用字典可以很方便地儲存每個詞語的詞頻

import jieba

text = "夢想橡皮擦的Python部落格很不錯"
seg_list = jieba.cut(text)
# print(list(seg_list))

word_dict = {}
for word in seg_list:
    print(word)
    if word in word_dict:
        word_dict[word] += 1
    else:
        word_dict[word] = 1

print(word_dict)

再次整理Python詞頻統計的具體實現方法：

匯入 jieba 庫，使用 jieba.cut() 函數對中文文字進行分詞。
遍歷分詞後的結果，統計每個詞出現的次數。
使用字典記錄每個詞出現的次數。
對字典按照詞頻排序，並輸出詞頻最高的詞。

程式碼範例：

import jieba

def get_word_frequency(text):
    seg_list = jieba.cut(text)
    word_dict = {}
    for word in seg_list:
        if word in word_dict:
            word_dict[word] += 1
        else:
            word_dict[word] = 1
    sorted_word_dict = sorted(word_dict.items(), key=lambda x: x[1], reverse=True)
    return sorted_word_dict

text = "夢想橡皮擦的Python部落格很不錯"
result = get_word_frequency(text)
print(result)

停用詞

在分詞時，通常會忽略一些詞語，這些詞語被稱為停用詞。如常用的助詞、介詞等。

在 Python 中，可以預先載入停用詞表，在分詞時，如果詞語是停用詞，則忽略。

下面是一個簡單的例子：

import jieba

stop_words = set()
with open("stop_words.txt", "r",encoding='utf-8') as f:
    for line in f:
        stop_words.add(line.strip())

text = "夢想橡皮擦的Python部落格很不錯"
seg_list = jieba.cut(text)
filtered_words = [word for word in seg_list if word not in stop_words]
print(filtered_words)

“stop_words.txt” 檔案中是停用詞表，每行一個詞語。在程式碼中，通過 with open 語句讀取檔案，並將每個詞語加入到 stop_words 集合中。在分詞後，通過列表推導式，篩選出不是停用詞的詞語。檔案中的內容如下：

詞幹提取

詞幹提取是將詞語的不同形式提取為同一詞幹的過程。例如 “running” 和 “runner” 可以被提取為 “run”。

在 Python 中，可以使用詞幹提取工具來進行詞幹提取，常見的詞幹提取工具有 nltk 庫的 PorterStemmer 和 SnowballStemmer 。

下面是一個簡單的例子：

import nltk
from nltk.stem import SnowballStemmer

stemmer = SnowballStemmer("english")

words = ["run", "runner", "running"]
stemmed_words = [stemmer.stem(word) for word in words]
print(stemmed_words)

SnowballStemmer 函數的第一個引數是語言。 english 表示使用英語詞幹提取器。

其支援多種語言，可以指定不同的語言，以使用不同的詞幹提取器。例如，如果是法語文字，可以使用 SnowballStemmer("french") 。

stemmer.stem(word) 是 nltk 庫的 SnowballStemmer 函數的一個方法，用於提取詞幹。

詞雲圖

詞雲圖是一種展示詞頻的視覺化圖形，其中詞語的大小代表詞頻的多少。

在 Python 中，可以使用詞雲庫 wordcloud 來生成詞雲圖。

以下是一個使用 wordcloud 庫建立詞雲圖的簡單範例：

from wordcloud import WordCloud
import matplotlib.pyplot as plt

text = "ca1 ca2 ca3 ca4 ca4 ca4"
wordcloud = WordCloud(width=400, height=400, random_state=21, max_font_size=110).generate(text)
plt.figure(figsize=(10, 5))
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis('off')
plt.show()

首先使用 WordCloud 函數建立一個詞雲圖物件，並設定圖片的寬度、高度、隨機狀態、字型大小等引數。

然後，使用 generate() 方法生成詞雲圖，並將其作為引數傳遞給 matplotlib 的 imshow() 函數。

最後，使用 show() 方法顯示詞雲圖。