Tensorflow2.1實現文字中情感分類實現解析

2022-11-21 14:01:33

前言

本文主要是用 cpu 版本的 tensorflow 2.1 搭建深度學習模型，完成對電影評論的情感分類任務。本次實踐的資料來源於IMDB 資料集，裡面的包含的是電影的影評，每條影評評論文字分為積極型別或消極型別。資料集總共包含 50000 條影評文字，取該資料集的 25000 條影評資料作為訓練集，另外 25000 條作為測試集，訓練集與測試集中包含相等數量的積極和消極影評，保證資料質量的平衡。

實現過程和思路解析

下載影評資料並進行 padding 處理

（1）這裡主要是通過 tf 內建的介面從網路上下載 imdb 資料，該資料是已經經過處理的，每一條評論中的每個單詞都是用對應的整數表示的，所以每一條評論都是一個整數列表。而對應的每條影評的標籤是一個 0 或 1 的整數， 0 代表的是消極評論，1 代表的是積極評論。

（2）這裡的 num_words=6000 表示我們只需要保留了訓練資料中出現頻率最高的 6000 個常用單詞，低頻詞會被全部棄用，因為一方面這些低頻詞可能是些符號或者停用詞，對影評情感分類沒有意義，另一方面如果低頻詞太多，需要構造的詞典太過龐大，嚴重影響計算效率，且消耗大量記憶體。

import tensorflow as tf
from tensorflow import keras
imdb = keras.datasets.imdb
num_words = 6000
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=num_words)

（3）這裡主要是建立整數與單詞之間的對映關係，並建立了一個函數 decode_review 可以將影評資料從數位序列轉換回單詞序列。

word_index = imdb.get_word_index()
word_index = {k:(v+3) for k,v in word_index.items()}
word_index["<PAD>"] = 0
word_index["<START>"] = 1
word_index["<UNK>"] = 2  # unknown
word_index["<UNUSED>"] = 3
index_word = dict([(value, key) for (key, value) in word_index.items()])
def decode_review(text):
    return ' '.join([index_word.get(i, '?') for i in text])

（4）這裡主要是對影評資料進行填充，因為每條資料的長度（數位序列的長度）是不一致的，而要進行深度學習模型的輸入必須要保證每條影評資料的長度相等，所以我們要進行填充操作，指定了最大的影評長度 maxlen 為 256 ，如果超過 256 則進行截斷，如果不足 256 則用 0 （也就是<PAD>對應的整數）在末尾進行填充。這裡的 maxlen 可以隨意指定，但是其長度會影響模型的效果，需要在實踐中不斷調整折中。

train_data = keras.preprocessing.sequence.pad_sequences(train_data, value=word_index["<PAD>"], padding='post', maxlen=256)
val_data = keras.preprocessing.sequence.pad_sequences(val_data, value=word_index["<PAD>"], padding='post', maxlen=256)
test_data = keras.preprocessing.sequence.pad_sequences(test_data, value=word_index["<PAD>"], padding='post', maxlen=256)

建立驗證集資料

這裡主要是建立驗證集，那麼有了訓練集為什麼要建立驗證集呢？首先我們要知道訓練集資料是用來開發和調整模型的，而檢查模型的準確率指標只能是用未見過的資料進行評測，所以我們從原始的訓練資料中抽取出 10000 個樣本來建立驗證集，此時訓練樣本只有 15000 個，我們結合使用訓練集和驗證集共同調整和開發模型，當模型定型之後，最後需要使用一次測試集評估模型的實際使用效果即可。

val_data = train_data[:10000]
val_labels = train_labels[:10000]
train_data = train_data[10000:]
train_labels = train_labels[10000:]

搭建簡單的深度學習模型

（1）第一層是 Embedding 層，它將輸入的每一個單詞轉換為一個 32 維的向量，所以每一個樣本輸入就從一維的 (sequence) 變成了二維的 (sequence, 32)

（2）第二層主要是使用了平均池化操作 GlobalAveragePooling1D ，此操作可以將每個樣本的二維維度向量 (sequence, 32) 又壓縮成一維向量 (32) ，上一步中的 32 維向量表示的是每個單詞向量，但是這裡的 32 維向量表示的是一個影評樣本向量。

（3）第三層是一個通過 relu 啟用函數將輸入轉換成輸出為 16 維度向量的全連線層操作

（4）第四層是一個通過 sigmoid 啟用函數將輸入轉換成輸出為 1 維度向量的全連線層操作，也就是最後輸出一個介於 0 與 1 之間的浮點數，它表示了概率，常規情況下如果概率大於等於 0.5 則說明該樣本預測類別為 1 ，否則說明該樣本預測類別為 0

model = keras.Sequential()
model.add(keras.layers.Embedding(num_words, 32))
model.add(keras.layers.GlobalAveragePooling1D())
model.add(keras.layers.Dense(16 , activation='relu'))
model.add(keras.layers.Dense(1, activation='sigmoid'))
model.summary()

設定並編譯模型

（1）我們選擇了常用的 Adam 優化器，你也可以自行選擇其他優化器。

（2）因為這是一個二分類問題且模型會輸出一個概率值，我們選擇了常見的 binary_crossentropy 損失函數。

（3）評估指標我們選擇了最容易理解的準確率 accuracy 。

model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

訓練模型

這裡主要是使用訓練資料進行模型的訓練，使用訓練集反覆進行 40 次模型訓練，並且在訓練過程中，使用驗證集的 10000 個樣本來評估模型上的損失值（loss）和準確率（accuracy）。

model.fit(train_data, train_labels, epochs=40, batch_size=512, validation_data=(val_data, val_labels), verbose=1)

輸出如下所示：

Train on 15000 samples, validate on 10000 samples
Epoch 1/40
15000/15000 [==============================] - 3s 169us/sample - loss: 0.6913 - accuracy: 0.5465 - val_loss: 0.6881 - val_accuracy: 0.6872
Epoch 2/40
15000/15000 [==============================] - 1s 88us/sample - loss: 0.6815 - accuracy: 0.7043 - val_loss: 0.6732 - val_accuracy: 0.7427
Epoch 3/40
...
Epoch 38/40
15000/15000 [==============================] - 1s 79us/sample - loss: 0.1045 - accuracy: 0.9707 - val_loss: 0.3431 - val_accuracy: 0.8738
Epoch 39/40
15000/15000 [==============================] - 1s 76us/sample - loss: 0.1022 - accuracy: 0.9712 - val_loss: 0.3470 - val_accuracy: 0.8737
Epoch 40/40
15000/15000 [==============================] - 1s 77us/sample - loss: 0.0985 - accuracy: 0.9735 - val_loss: 0.3526 - val_accuracy: 0.8725

評估模型

這裡主要是使用測試資料對模型進行評估，由於當前模型較為簡單，如果使用複雜的模型和更好的訓練方法，準確率應該能達到 98% 以上.

model.evaluate(test_data,  test_labels, verbose=2)

結果輸出為，損失為 0.368 ，準確率為 0.86488 ：

[0.368153291721344, 0.86488]

以上就是Tensorflow2.1實現文字中情感分類實現解析的詳細內容，更多關於Tensorflow2.1文字情感分類的資料請關注it145.com其它相關文章！