当RNN用于预测句子时,解码器状态用输入初始化:
<S>
(起始符号,提示解码器生成响应的第一个字)
恩 . 给定 <S>
,预测 The
,然后给出 The
,预测 car
.
如果我的目标是预测开始时序列的结束,
Input: "The car was"
Target: "moving down the hill."
喂第一个解码器单元 was
而不是 <S>
是否有意义?
与为每个不包含特定信息的示例使用静态令牌相比,提供 was
应增加解码器可访问的信息 .
我发布这个问题是因为反过来看起来似乎有必要让 <S>
在训练期间保持静止 .