-
0 votesanswersviews
Tensorflow:注意输出与下一个解码器输入连接,导致seq2seq模型中的尺寸不匹配
[TF 1.8]我正在尝试为玩具聊天机器人构建一个seq2seq模型,以了解张量流和深度学习 . 我能够通过采样softmax和beam搜索训练和运行模型,但后来我尝试使用tf.contrib.seq2seq.AttentionWrapper应用tf.contrib.seq2seq.LuongAttention我在构建图时遇到以下错误: ValueError: Dimensions must be... -
4 votesanswersviews
Seq2Seq模型学习仅在几次迭代后输出EOS令牌(<\ s>)
我正在使用NMT创建一个在Cornell Movie Dialogs Corpus上训练的聊天机器人 . 我的代码部分来自https://github.com/bshao001/ChatLearner和https://github.com/chiphuyen/stanford-tensorflow-tutorials/tree/master/assignments/chatbot 在训练期间,我打... -
0 votesanswersviews
在Keras中使用RNN层和GRU单元的Seq2Seq模型的问题
基本上,我尝试使用RNN层和GRU单元实现Seq2Seq模型 . 在训练期间一切似乎都很好(损失和val_loss减少) This is my implementation: 编码器 class Encoder(object): def __init__(self, num_words, embedding_size, state_size, layers=2, dropout_rate=0.1)... -
3 votesanswersviews
Seq2seq LSTM无法生成合理的摘要
我正在训练keras中的编码器 - 解码器LSTM用于文本摘要和具有以下架构的CNN数据集 Picture of bidirectional encoder-decoder LSTM 我正在使用skip-gram和预训练单词嵌入(大小为256) 然后我用零填充输入序列,这样所有文章的长度都相等 我在每个摘要中放置一个1的向量作为“开始”令牌 稍后在解码器输出中使用MSE,RMSPr... -
0 votesanswersviews
使用Tensorflow在RNN解码器中循环
我想在训练阶段使用tensorflow / Keras实现具有停止条件而不是固定数量的RNN解码器 . 基本上,我正在测试图像字幕任务的解码器,而不是将所有字幕填充为具有相同的长度(字数) . 我希望算法通过抛出符号"eos"来自行决定训练阶段的序列长度 . 我开始使用该方法的源代码: tensorflow.contrib.legacy_seq2seq.python.ops.s... -
0 votesanswersviews
用于Seq2Seq NMT的损失函数是什么?
我正在使用https://blog.keras.io/a-ten-minute-introduction-to-sequence-to-sequence-learning-in-keras.html中提出的方法编写LSTM Seq2Seq NMT(英语到孟加拉语) . 一些关键的区别是:1 . 我的模型是基于单词而不是基于字符2.对于英语单词(编码器部分的输入)我使用了Glove预训练嵌入3.对于...