我想知道GloVe嵌入是否有一般(默认)词典外(OOV)令牌 . 特别是来自斯坦福大学的预训练者:https://nlp.stanford.edu/projects/glove/
我在SO上找到了这个:What is "unk" in glove.6B.50d.txt?
给出的答案表明令牌 "unk"
代表OOV-Token和shared a link to the Glove project on Github作为证据 .
但是这对我来说似乎不是很有说服力,因为链接只引用代码中的 "<unk>"
标记(不是 "unk"
),但 "<unk>"
确实存在于词汇表中!
所以我想知道,如果GloVe有任何(默认)OOV令牌(可以用于未知/看不见的词),那么它是什么?