search - 测量精度和召回率

Question

我们正在构建一个文本搜索解决方案，并希望在每次添加新文档类型时测量系统的精确度和召回率。通过阅读这里的一些帖子，听起来基于机器学习的解决方案是要走的路。专家可以对此发表评论吗？然后，我们将寻求将机器学习人员添加到我们的团队中。

Answer 1

获得F1 分数的唯一方法需要了解正确的类别、通过评估查询获得的所有样本的排名，并且您还需要这些评估查询。

• 任何机器学习都需要大量的手动工作来提供这些样本和/或查询。这么大，它不会为您节省任何时间。

• 这种评估的另一个不好的方面是与学习相关的内在错误。它将随着搜索引擎索引的增长和所需示例的数量而增长。你永远得不到好的评价。

• 忘记机器学习来评估搜索引擎。手动构建您的测试查询和样本，到时候它会变得大而可靠。

• 如果你真的想在你的系统中进行机器学习，你应该看看查询预处理。通过另一种方式获取有关查询的一些元信息（您说 SVN，为什么不呢？）通常对性能有好处，虽然它没有改变结果，但您可以使用相同的样本进行端到端评估. 那是我几年前所做的，但是在自然语言分析中使用了朴素的贝叶分类器。