我通过将经过预先训练的 word2vec 单词作为输入来训练网络 .
我想知道我是否可以使用 word2vec 目标字来计算错误成本 . 它似乎不起作用，我从未见过这样的例子或论文 . 是否可以使用word2vec作为计算错误成本的目标值？如果是这样，我应该使用什么样的成本函数？如果没有，请以数学方式解释原因 .
我该如何设置输入和目标？现在我正在使用如下的架构：
input : word1, word2, word3, target : word4
input : word1, word2, word3, word4, target : word5
也许我可以使用另一种选择：
input : word1, word2 target : word2, word3
input : word1, word2, word3, target : word2, word3, word4
哪一个更好？还是有其他选择吗？
如果有任何参考，请告诉我 .
1 回答
预测通常通过输出softmax层进行，该输出softmax层给出词汇表中所有单词的概率 .
然而，最近的一篇论文建议将输入字向量与输出字分类器绑定并对其进行端到端训练 . 这显着减少了参数的数量 . https://arxiv.org/abs/1611.01462
关于架构，至少要进行培训，我更倾向于第二种选择，因为第一种选择会丢失关于第二和第三个词的信息，这些信息也可以用于训练 .