我无法准确理解LSTM单元的范围 - 它如何映射到网络层 . 来自Graves(2014):
在我看来,在单层网络中,layer = lstm单元格 . 这实际上如何在多层rnn中工作?
Three-layer RNN
LSTM Cell
单元格的输出是h_t,没有指示特定图层的超级索引 . 方程式相同 . 每个单元格是否跨越单个图层?或者每个时间步长的每个单元跨越整个三个节点?
图1中名称为 h 的每个节点代表一个LSTM单元 . 请注意,具有相同superindex的 h_{t-1} , h{t} 和 h{t+1} 是相同的单元格 . 他们刚刚及时展开 . 然而,不同的超级指示代表不同的LSTM细胞 .
h
h_{t-1}
h{t}
h{t+1}
具有超索引2或3的单元的输入不仅是数据样本 x 而且是前一单元的输出 .
x
你是对的 . 单层RNN网络由一个LSTM小区组成 . 在多层RNN情况下,输出中间LSTM单元,输出先前的LSTM单元 . 在图1中,数据样本 x 也与LSTM输出一起馈送 .
1 回答
图1中名称为
h
的每个节点代表一个LSTM单元 . 请注意,具有相同superindex的h_{t-1}
,h{t}
和h{t+1}
是相同的单元格 . 他们刚刚及时展开 . 然而,不同的超级指示代表不同的LSTM细胞 .具有超索引2或3的单元的输入不仅是数据样本
x
而且是前一单元的输出 .你是对的 . 单层RNN网络由一个LSTM小区组成 . 在多层RNN情况下,输出中间LSTM单元,输出先前的LSTM单元 . 在图1中,数据样本
x
也与LSTM输出一起馈送 .