我对NLP任务上的序列到序列RNN感到很困惑 . 以前，我已经实现了一些分类任务的神经模型 . 在这些任务中，模型将字嵌入作为输入，并在网络末端使用softmax层进行分类 . 但神经模型如何进行seq2seq任务呢？如果输入是字嵌入，那么神经模型的输出是什么？这些任务的考试包括问答，对话系统和机器翻译 .
您可以使用编码器 - 解码器架构 . 编码器部分将您的输入编码为固定长度的矢量，然后解码器将此矢量解码为您的输出序列，无论这是什么 . 可以根据您的目标函数（仍然可以涉及soft-max）共同学习编码和解码层 . 查看this paper，其中显示了该模型如何在神经机器翻译中使用 . 这里的解码器逐个发出字以便产生正确的翻译 .
1 回答
您可以使用编码器 - 解码器架构 . 编码器部分将您的输入编码为固定长度的矢量，然后解码器将此矢量解码为您的输出序列，无论这是什么 . 可以根据您的目标函数（仍然可以涉及soft-max）共同学习编码和解码层 . 查看this paper，其中显示了该模型如何在神经机器翻译中使用 . 这里的解码器逐个发出字以便产生正确的翻译 .