Python實現雙向RNN與堆疊的雙向RNN的範例程式碼

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tensorflow.keras.layers import LSTM,Dropout,Bidirectional
from tensorflow.keras.optimizers import Adam
import matplotlib.pyplot as plt

# 載入資料集
mnist = tf.keras.datasets.mnist
# 載入資料，資料載入的時候就已經劃分好訓練集和測試集
# 訓練集資料x_train的資料形狀為（60000，28，28）
# 訓練集標籤y_train的資料形狀為（60000）
# 測試集資料x_test的資料形狀為（10000，28，28）
# 測試集標籤y_test的資料形狀為（10000）
(x_train, y_train), (x_test, y_test) = mnist.load_data()
# 對訓練集和測試集的資料進行歸一化處理，有助於提升模型訓練速度
x_train, x_test = x_train / 255.0, x_test / 255.0
# 把訓練集和測試集的標籤轉為獨熱編碼
y_train = tf.keras.utils.to_categorical(y_train,num_classes=10)
y_test = tf.keras.utils.to_categorical(y_test,num_classes=10)

# 資料大小-一行有28個畫素
input_size = 28
# 序列長度-一共有28行
time_steps = 28
# 隱藏層memory block個數
cell_size = 50 

# 建立模型
# 迴圈神經網路的資料輸入必須是3維資料
# 資料格式為(資料數量，序列長度，資料大小)
# 載入的mnist資料的格式剛好符合要求
# 注意這裡的input_shape設定模型資料輸入時不需要設定資料的數量
model = Sequential([
    Bidirectional(LSTM(units=cell_size,input_shape=(time_steps,input_size),return_sequences=True)),
    Dropout(0.2),
    Bidirectional(LSTM(cell_size)),
    Dropout(0.2),
    # 50個memory block輸出的50個值跟輸出層10個神經元全連線
    Dense(10,activation=tf.keras.activations.softmax)
])

# 迴圈神經網路的資料輸入必須是3維資料
# 資料格式為(資料數量，序列長度，資料大小)
# 載入的mnist資料的格式剛好符合要求
# 注意這裡的input_shape設定模型資料輸入時不需要設定資料的數量
# model.add(LSTM(
#     units = cell_size,
#     input_shape = (time_steps,input_size),
# ))

# 50個memory block輸出的50個值跟輸出層10個神經元全連線
# model.add(Dense(10,activation='softmax'))

# 定義優化器
adam = Adam(lr=1e-3)

# 定義優化器，loss function，訓練過程中計算準確率            使用交叉熵損失函數
model.compile(optimizer=adam,loss='categorical_crossentropy',metrics=['accuracy'])

# 訓練模型
history=model.fit(x_train,y_train,batch_size=64,epochs=10,validation_data=(x_test,y_test))

#列印模型摘要
model.summary()

loss=history.history['loss']
val_loss=history.history['val_loss']

accuracy=history.history['accuracy']
val_accuracy=history.history['val_accuracy']


# 繪製loss曲線
plt.plot(loss, label='Training Loss')
plt.plot(val_loss, label='Validation Loss')
plt.title('Training and Validation Loss')
plt.legend()
plt.show()
# 繪製acc曲線
plt.plot(accuracy, label='Training accuracy')
plt.plot(val_accuracy, label='Validation accuracy')
plt.title('Training and Validation Loss')
plt.legend()
plt.show()