5

我正在阅读 Levy 等人的论文“Improving Distributional Similarity with Lessons Learned from Word Embeddings”，在讨论他们的超参数时，他们说：

向量归一化 (nrm)如第 2 节所述，所有向量（即 W 的行）都归一化为单位长度（L2 归一化），使点积运算等效于余弦相似度。

然后我回忆起sim2R 包中向量相似度函数的默认值text2vec首先是 L2 范数向量：

sim2(x, y = NULL, method = c("cosine", "jaccard"), norm = c("l2", "none"))

所以我想知道，这可能是什么动机，规范化和余弦（无论是在 text2vec 方面还是在一般方面）。我试图阅读 L2 范数，但主要是在使用欧几里得距离之前的规范化背景下出现的。在词向量空间/嵌入的余弦相似度的情况下，我无法（令人惊讶地）找到任何关于 L2 范数是否会被推荐或反对的任何信息。而且我不太具备计算分析差异的数学技能。

所以这是一个问题，意味着在从文本数据中学习的词向量空间的上下文中（可能只是由 tfidf、ppmi 等加权的共现矩阵；或像 GloVe 之类的嵌入），并计算词相似度（目标是当然要使用最能反映现实世界单词相似性的向量空间+度量）。
简而言之，在计算向量/单词之间的余弦相似度之前，是否有任何理由（不）在单词特征矩阵/术语共现矩阵上使用 L2 范数？

4

2 回答 2

3

如果你想得到余弦相似度，你不需要标准化到 L2 范数然后计算余弦相似度。余弦相似度无论如何都会对向量进行归一化，然后取两个的点积。

如果您正在计算欧几里德距离，那么如果距离或矢量长度不是重要的区分因素，则需要进行归一化。如果矢量长度是一个区别因素，则不要按原样归一化并计算欧几里得距离。

于 2018-09-25T03:08:56.417 回答
2

text2vec自动处理所有事情 - 它会使行具有单位 L2 范数，然后调用点积来计算余弦相似度。

但是，如果矩阵已经有具有单位 L2 范数的行，那么用户可以指定norm = "none"并sim2跳过第一个归一化步骤（节省一些计算）。

我理解混乱 - 可能我需要删除norm选项（标准化矩阵不需要太多时间）。

于 2018-07-13T15:49:25.463 回答