我想知道是否有用于GloVe嵌入的通用(默认)词汇表外 (OOV)令牌。特别是对于来自斯坦福大学的预训练: https ://nlp.stanford.edu/projects/glove/
我在 SO 上找到了这个:glove.6B.50d.txt 中的“unk”是什么?
给出的答案表明该代币"unk"
代表OOV 代币,并在 Github 上共享了 Glove 项目的链接作为证据。
然而,这对我来说似乎不是很确定,因为该链接仅指"<unk>"
代码中的标记(不是"unk"
),但"<unk>"
确实存在于词汇表中!
所以我想知道,是否有任何(默认)用于 GloVe的 OOV 令牌(什么可用于未知/看不见的单词),如果有,它是什么?