我粗略地遵循了这个教程:
https://machinelearningmastery.com/text-generation-lstm-recurrent-neural-networks-python-keras/
一个值得注意的区别是我使用2个带有压差的LSTM层 . 我的数据集不同(音乐数据设置为abc表示法) . 我确实生成了一些歌曲,但是在生成过程中经过一定数量的步骤(可能从30步到数百步)之后,LSTM一遍又一遍地生成完全相同的序列 . 例如,它曾经卡在为歌曲生成URL:
F:http://www.youtube.com/watch?v=JPtqU6pipQI
等等 ...
它也曾经生成相同的两首歌曲(两首歌曲是一个约300个字符的序列) . 一开始它产生了3-4个好片,但之后,它几乎无限期地重新制作了两首歌 .
我在想, does anyone have some insight into what could be happening ?
我想澄清一下,无论重复还是非重复产生的任何序列似乎都是新的(模型不记忆) . 验证损失和培训损失按预期减少 . Andrej Karpathy能够生成一个包含数千个字符的文档,我无法找到这种无限期卡住的模式 .