nlp - 如何选择 OKAPI BM25 参数：b 和 k1

Question

我实际上想知道，我们如何验证或评估 BM25 公式中 b 和 k1 的值？换句话说，最“科学”的评估方法是什么？

是否有任何研究论文可供我们参考，以了解此类评估是如何进行的？

Answer 1

这些 BM25 参数的最佳值在很大程度上取决于您的数据收集。阅读本文：可插入的相似性算法 | 弹性搜索

调整参数的一种简单方法是调整它们，然后评估它们的性能影响。如果结果不令人满意，请再次更改参数并评估结果。它可以通过遗传或 ACO 等元启发式算法实现自动化。

一些论文也可用：

• He, B. 和 Ounis, I.（2003 年 11 月）。项频率归一化的参数调整研究。
• He, B. 和 Ounis, I.（2005 年 3 月）。BM25 和 DFR 模型的术语频率归一化调整。