首页 文章

如何在Pytorch中实现每个内存块有多个单元的LSTM层?

提问于
浏览
0

我打算在Pytorch中用多个存储单元块实现LSTM - 或多个LSTM单元,LSTM单元是每层的存储块及其门的集合,但似乎基类 torch.nn.LSTM 只能实现多个-layer LSTM,每层有一个LSTM单元:

lstm = torch.nn.LSTM(input_size, hidden_size, num_layers)

哪里(来自Pytorch的文件):

  • input_size 是网络的输入维度,

  • hidden_size 是每个图层的隐藏状态维度(即每个图层的维度),

  • num_layer 是网络的层数

因此,从上面,每个LSTM单元恰好具有一个单元(每个LSTM单元的单元状态因此是标量),因为对于每个层,单元状态的维度对应于隐藏状态的维度(即 hidden_size ) .

然而,在Hochreiter和Schmidhuber [1997]提出的原始LSTM模型中,每个LSTM块/单元可以包含几个单元:LSTM Network [Hochreiter, 1997]

有办法吗?

1 回答

  • 0

    据我所知,两个LSTM-Cells像往常一样连接 . 本文中图2的描述如下:

    ...(注意通过将图1逆时针旋转90度,它将与图2中的相应部分相匹配)...

    图2中的图可能很难解释,但它应该是一个带有hidden_layer和状态输入的LSTM .

相关问题