<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
可以在troch.nn
模組中找到LSTM類
lstm = torch.nn.LSTM(*paramsters)
首先對nn.LSTM
類進行範例化,需要傳入的引數如下圖所示:
一般我們關注這4個:
input_size
表示輸入的每個token的維度,也可以理解為一個word的embedding的維度。hidden_size
表示隱藏層也就是記憶單元C的維度,也可以理解為要將一個word的embedding維度轉變成另一個大小的維度。除了C,在LSTM中輸出的H的維度與C的維度是一致的。num_layers
表示有多少層LSTM,加深網路的深度,這個引數對LSTM的輸出的維度是有影響的(後文會提到)。bidirectional
表示是否需要雙向LSTM,這個引數也會對後面的輸出有影響。將資料input傳入forward方法進行前向傳播時有3個引數可以輸入,見下圖:
input
引數各個維度的意義,一般來說如果不在範例化時制定batch_first=True
,那麼input
的第一個維度是輸入句子的長度seq_len,第二個維度是批次的大小,第三個維度是輸入句子的embedding維度也就是input_size,這個引數要與__init__
方法中的第一個引數對應。h_0
和c_0
可以選擇自己初始化傳入也可以不傳,系統預設是都初始化為0。傳入的話注意維度[bidirectional * num_layers, batch_size, hidden_size]。forward方法的輸出如下圖所示:
一般採用如下形式:
out,(h_n, c_n) = lstm(x)
out
表示在最後一層上,每一個時間步的輸出,也就是句子有多長,這個out的輸出就有多長;其維度為[seq_len, batch_size, hidden_size * bidirectional]。因為如果的雙向LSTM,最後一層的輸出會把正向的和反向的進行拼接,故需要hidden_size * bidirectional。h_n
表示的是每一層(雙向算兩層)在最後一個時間步上的輸出;其維度為[bidirectional * num_layers, batch_size, hidden_size]
假設是雙向的LSTM,且是3層LSTM,雙向每個方向算一層,兩個方向的組合起來叫一層LSTM,故共會有6層(3個正向,3個反向)。所以h_n是每層的輸出,bidirectional * num_layers = 6。c_n
表示的是每一層(雙向算兩層)在最後一個時間步上的記憶單元,意義不同,但是其餘均與 h_n
一樣。
可以在troch.nn
模組中找到LSTMCell類
lstm = torch.nn.LSTMCell(*paramsters)
它的__init__
方法的引數設定與LSTM類似,但是沒有num_layers
引數,因為這就是一個細胞單元,談不上多少層和是否雙向。forward
的輸入和輸出與LSTM均有所不同:
其相比LSTM,輸入沒有了時間步的概念,因為只有一個Cell單元;輸出 也沒有out
引數,因為就一個Cell,out
就是h_1
,h_1
和c_1
也因為只有一個Cell單元,其沒有層數上的意義,故只是一個Cell的輸出的維度[batch_size, hidden_size].
程式碼演示如下:
rnn = nn.LSTMCell(10, 20) # (input_size, hidden_size) input = torch.randn(2, 3, 10) # (time_steps, batch, input_size) hx = torch.randn(3, 20) # (batch, hidden_size) cx = torch.randn(3, 20) output = [] # 從輸入的第一個維度也就是seq_len上遍歷,每回圈一次,輸入一個單詞 for i in range(input.size()[0]): # 更新細胞記憶單元 hx, cx = rnn(input[i], (hx, cx)) # 將每個word作為輸入的輸出存起來,相當於LSTM中的out output.append(hx) output = torch.stack(output, dim=0)
到此這篇關於pytorch中使用LSTM詳細解說的文章就介紹到這了,更多相關pytorch使用LSTM內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com!
相關文章
<em>Mac</em>Book项目 2009年学校开始实施<em>Mac</em>Book项目,所有师生配备一本<em>Mac</em>Book,并同步更新了校园无线网络。学校每周进行电脑技术更新,每月发送技术支持资料,极大改变了教学及学习方式。因此2011
2021-06-01 09:32:01
综合看Anker超能充系列的性价比很高,并且与不仅和iPhone12/苹果<em>Mac</em>Book很配,而且适合多设备充电需求的日常使用或差旅场景,不管是安卓还是Switch同样也能用得上它,希望这次分享能给准备购入充电器的小伙伴们有所
2021-06-01 09:31:42
除了L4WUDU与吴亦凡已经多次共事,成为了明面上的厂牌成员,吴亦凡还曾带领20XXCLUB全队参加2020年的一场音乐节,这也是20XXCLUB首次全员合照,王嗣尧Turbo、陈彦希Regi、<em>Mac</em> Ova Seas、林渝植等人全部出场。然而让
2021-06-01 09:31:34
目前应用IPFS的机构:1 谷歌<em>浏览器</em>支持IPFS分布式协议 2 万维网 (历史档案博物馆)数据库 3 火狐<em>浏览器</em>支持 IPFS分布式协议 4 EOS 等数字货币数据存储 5 美国国会图书馆,历史资料永久保存在 IPFS 6 加
2021-06-01 09:31:24
开拓者的车机是兼容苹果和<em>安卓</em>,虽然我不怎么用,但确实兼顾了我家人的很多需求:副驾的门板还配有解锁开关,有的时候老婆开车,下车的时候偶尔会忘记解锁,我在副驾驶可以自己开门:第二排设计很好,不仅配置了一个很大的
2021-06-01 09:30:48
不仅是<em>安卓</em>手机,苹果手机的降价力度也是前所未有了,iPhone12也“跳水价”了,发布价是6799元,如今已经跌至5308元,降价幅度超过1400元,最新定价确认了。iPhone12是苹果首款5G手机,同时也是全球首款5nm芯片的智能机,它
2021-06-01 09:30:45