我粗略地遵循了这个教程:

https://machinelearningmastery.com/text-generation-lstm-recurrent-neural-networks-python-keras/

一个值得注意的区别是我使用2个带有压差的LSTM层 . 我的数据集不同(音乐数据设置为abc表示法) . 我确实生成了一些歌曲,但是在生成过程中经过一定数量的步骤(可能从30步到数百步)之后,LSTM一遍又一遍地生成完全相同的序列 . 例如,它曾经卡在为歌曲生成URL:

F:http://www.youtube.com/watch?v=JPtqU6pipQI

等等 ...

它也曾经生成相同的两首歌曲(两首歌曲是一个约300个字符的序列) . 一开始它产生了3-4个好片,但之后,它几乎无限期地重新制作了两首歌 .

我在想, does anyone have some insight into what could be happening ?

我想澄清一下,无论重复还是非重复产生的任何序列似乎都是新的(模型不记忆) . 验证损失和培训损失按预期减少 . Andrej Karpathy能够生成一个包含数千个字符的文档,我无法找到这种无限期卡住的模式 .

http://karpathy.github.io/2015/05/21/rnn-effectiveness/