我正在研究一个关于文本数据的研究项目（它是关于搜索引擎查询监督分类） . 我已经实现了不同的方法，我也使用了不同的文本模型（例如我的词汇量的二进制向量 - 如果第i个单词出现在文本中则为1，否则为0 - 或者嵌入模型word2vec的单词） .
我的顾问告诉我，也许我们可以使用Recurrent Neural Network找到另一个查询表示 . 由于递归关系，这种表示应该考虑到文本中单词的顺序性 . 我已经阅读了一些关于RNN的文档，但我没有找到任何有用的目标 . 我已经阅读了很多关于语言建模的东西（它预测了单词的概率），但是我不明白我是如何调整这个模型来获得类似嵌入向量的东西的 .
非常感谢你！
1 回答
通常，如果想要从查询或利用RNN的句子中获取嵌入，则使用对数 . logits只是在完整句子/查询的正向传递之后网络的输出值 .
logit值产生一个具有输出层维度的向量（即目标类的数量）：通常，它是词汇表，因为它们是从语言模型中提取的 .
有关提示，请查看以下内容：
http://arxiv.org/abs/1603.07012
How does word2vec give one hot word vector from the embedding vector?
请注意，原则上人们也可以使用双向网络或在其他任务上训练的网络，获得较小的嵌入，即使这最后一种选择是有点花哨的，而且据我所知尚未进行探索 .