5

我对使用 Solr 对余弦相似度算法进行建模的可能方法感兴趣。我有分配了向量的项目，例如：

items = [
  { id: 1, vector: [0,0,0,2,3,0,0] },
  { id: 2, vector: [0,1,0,1,5,0,0] },
  { id: 3, vector: [2,3,0,0,0,1,0] },
  { id: 4, vector: [1,2,4,6,5,0,0] }
]

以及其他需要排名的搜索向量。

目前，我正在通过遍历所有项目并根据输入向量为它们分配等级来在 ruby​​ 中对此进行建模。这是我正在使用的余弦相似度的实现：

module SimilarityCalculator

  def self.get_similarity(vector1, vector2)
    dp = dot_product(vector1, vector2)
    nm = normalize(vector1) * normalize(vector2)
    dp / nm
  end

  private

  def self.dot_product(vector1, vector2)
    sum = 0.0
    vector1.each_with_index { |val, i| sum += val * vector2[i] }
    sum
  end

  def self.normalize(vector)
    Math.sqrt(vector.inject(0.0) { |m,o| m += o**2 })
  end

end

然后，要获得排名列表，我会执行以下操作：

ranked = []
search_vector = [1,0,0,3,5,0,0]
items.each do |item|
  rank = SimilarityCalculator.get_similarity(search_vector, item.vector)
  { id: item.id, rank: rank }
end

我对 Solr 的了解不够多，不知道如何建模，或者即使它可以建模，但我想我会把它扔在那里。

4

1 回答 1

1

Lucene 已经使用了余弦相似度模型，所以真正的问题是：你能将你的向量映射到 Lucene 的向量中吗？你能删除你不想要的 Lucene 做的规范等吗？

你总是可以编写自己的评分和分析函数，所以如果你愿意做一些编码，答案是明确的“是”。不过，这可能需要比您想要的更多的工作。

对于一个可能让您参与其中但不需要任何编码的选项：将每个维度转换为单词“dim_n”并重复（或提升它）但是多次是向量在该维度中的大小。例如：

[1,2,0,1] ==> "dim_1 dim_2 dim_2 dim_4"

如果您的向量都具有大致相同的大小并且在各个维度上均匀分布，那么这可能是一个非常好的近似值。

如果您告诉我们更多有关该问题的信息（例如，您真的需要提供 Lucene 向量作为输入还是可以提供文本？）我们也许能够找到更好的解决方案。

于 2012-02-03T18:09:43.817 回答