Pytorch-LSTM輸入輸出引數方式

2022-07-11 18:02:16

1.Pytorch中的LSTM中輸入輸出引數

nn.lstm是繼承nn.RNNBase，初始化的定義如下：

class RNNBase(Module):
	...
    def __init__(self, mode, input_size, hidden_size,
                 num_layers=1, bias=True, batch_first=False,
                 dropout=0., bidirectional=False):

以下是Pytorch中的引數及其含義，解釋如下：

input_size – 輸入資料的大小，也就是前面例子中每個單詞向量的長度
hidden_size – 隱藏層的大小（即隱藏層節點數量），輸出向量的維度等於隱藏節點數
num_layers – recurrent layer的數量，預設等於1。
bias – If False, then the layer does not use bias weights b_ih and b_hh. Default: True
batch_first – 預設為False，也就是說官方不推薦我們把batch放在第一維，這個與之前常見的CNN輸入有點不同，此時輸入輸出的各個維度含義為 (seq_length,batch,feature)。當然如果你想和CNN一樣把batch放在第一維，可將該引數設定為True，即 (batch,seq_length,feature)，習慣上將batch_first 設定為True。
dropout – 如果非0，就在除了最後一層的其它層都插入Dropout層，預設為0。
bidirectional – 如果設定為 True, 則表示雙向 LSTM，預設為 False

2.輸入資料（以batch_first=True，單層單向為例）

假設輸入資料資訊如下：

輸入維度 = 28

nn.lstm中的API輸入引數如下：

time_steps= 3
batch_first = True
batch_size = 10
hidden_size =4
num_layers = 1
bidirectional = False

備註：先以簡單的num_layers=1和bidirectional=1為例，後面會講到num_layers與bidirectional的LSTM網路具體構造。

下在面程式碼的中：

lstm_input是輸入資料，隱層初始輸入h_init和記憶單元初始輸入c_init的解釋如下：

h_init：維度形狀為 (num_layers * num_directions, batch, hidden_size)：

第一個引數的含義num_layers * num_directions，即LSTM的層數乘以方向數量。這個方向數量是由前面介紹的bidirectional決定，如果為False,則等於1；反之等於2（可以結合下圖理解num_layers * num_directions的含義）。
batch：批資料量大小
hidden_size: 隱藏層節點數

c_init：維度形狀也為(num_layers * num_directions, batch, hidden_size)，各引數含義與h_init相同。因為本質上，h_init與c_init只是在不同時刻的不同表達而已。

備註：如果沒有傳入，h_init和c_init，根據原始碼來看，這兩個引數會預設為0。

import torch
from torch.autograd import Variable
from torch import nn
 
input_size = 28
hidden_size = 4
 
lstm_seq = nn.LSTM(input_size, hidden_size, num_layers=1,batch_first=True)  # 構建LSTM網路
lstm_input = Variable(torch.randn(10, 3, 28))  # 構建輸入
h_init = Variable(torch.randn(1, lstm_input.size(0), hidden_size))  # 構建h輸入引數   -- 每個batch對應一個隱層
c_init = Variable(torch.randn(1, lstm_input.size(0), hidden_size))  # 構建c輸出引數   -- 每個batch對應一個隱層
out, (h, c) = lstm_seq(lstm_input, (h_init, c_init))  # 將輸入資料和初始化隱層、記憶單元資訊傳入
 
print(lstm_seq.weight_ih_l0.shape) # 對應的輸入學習引數
print(lstm_seq.weight_hh_l0.shape) # 對應的隱層學習引數
print(out.shape, h.shape, c.shape)

輸出結果如下：

輸出結果解釋如下：

（1）lstm_seq.weight_ih_l0.shape的結果為：torch.Size([16, 28])，表示對應的輸入到隱層的學習引數：(4*hidden_size, input_size)。

（2）lstm_seq.weight_hh_l0.shape的結果為：torch.Size([16, 4])，表示對應的隱層到隱層的學習引數：(4*hidden_size, num_directions * hidden_size)

（3）out.shape的輸出結果：torch.Size([10,3, 4])，表示隱層到輸出層學習引數，即(batch，time_steps, num_directions * hidden_size)，維度和輸入資料類似，會根據batch_first是否為True進行對應的輸出結果，（如果程式碼中，batch_first=False，則out.shape的結果會變為：torch.Size([3, 10, 4])），

這個輸出tensor包含了LSTM模型最後一層每個time_step的輸出特徵，比如說LSTM有兩層，那麼最後輸出的是,表示第二層LSTM每個time step對應的輸出；另外如果前面對輸入資料使用了torch.nn.utils.rnn.PackedSequence,那麼輸出也會做同樣的操作程式設計packed sequence；對於unpacked情況，我們可以對輸出做如下處理來對方向作分離output.view(seq_len, batch, num_directions, hidden_size), 其中前向和後向分別用0和1表示。

h.shape輸出結果是： torch.Size([1, 10, 4]),表示隱層到輸出層的引數，h_n：(num_layers * num_directions, batch, hidden_size)，只會輸出最後一個time step的隱狀態結果（如下圖所示）

c.shape的輸出結果是： torch.Size([1, 10, 4])，表示隱層到輸出層的引數，c_n ：(num_layers * num_directions, batch, hidden_size)，同樣只會輸出最後一個time step的cell狀態結果（如下圖所示）

3.輸入資料（以batch_first=True，雙層雙向）

'''
    batch_first = True :   輸入形式：(batch, seq, feature)
    bidirectional = True
    num_layers = 2
'''
num_layers = 2
bidirectional_set  = True
bidirectional = 2 if bidirectional_set else 1
 
input_size = 28
hidden_size = 4
 
lstm_seq = nn.LSTM(input_size, hidden_size, num_layers=num_layers,bidirectional=bidirectional_set,batch_first=True)  # 構建LSTM網路
lstm_input = Variable(torch.randn(10, 3, 28))  # 構建輸入
h_init = Variable(torch.randn(num_layers*bidirectional, lstm_input.size(0), hidden_size))  # 構建h輸入引數
c_init = Variable(torch.randn(num_layers*bidirectional, lstm_input.size(0), hidden_size))  # 構建c輸出引數
out, (h, c) = lstm_seq(lstm_input, (h_init, c_init))  # 計算
print(lstm_seq.weight_ih_l0.shape)
print(lstm_seq.weight_hh_l0.shape)
print(out.shape, h.shape, c.shape)

輸出結果如下：

Pytorch-LSTM函數引數解釋圖解

最近在寫有關LSTM的程式碼，但是對於nn.LSTM函數中的有些引數還是不明白其具體含義，學習過後在此記錄。

為了方便說明，我們先解釋函數引數的作用，接著對應圖片來說明每個引數的具體含義。

torch.nn.LSTM函數

LSTM的函數

class torch.nn.LSTM(args, *kwargs)
	# 主要引數
	# input_size – 輸入的特徵維度
	# hidden_size – 隱狀態的特徵維度
	# num_layers – 層數（和時序展開要區分開）
	# bias – 如果為False，那麼LSTM將不會使用偏置，預設為True。
	# batch_first – 如果為True，那麼輸入和輸出Tensor的形狀為(batch, seq_len, input_size)
	# dropout – 如果非零的話，將會在RNN的輸出上加個dropout，最後一層除外。
	# bidirectional – 如果為True，將會變成一個雙向RNN，預設為False。

LSTM的輸入維度為 (seq_len, batch, input_size) 如果batch_first為True，則輸入形狀為(batch, seq_len, input_size)