semantics - 如何确定语义搜索引擎的准确性？

Question

我的表弟创建了一个语义搜索引擎，他声称他的搜索引擎是最准确的。

我见过许多语义搜索引擎，它们在我看来都一样，因为它们的设计目的不是根据您输入的关键字为您提供结果。

那么如果你正在创建一个语义搜索引擎，如何确定其结果的准确性呢？

Answer 1

实际上，萨诺德的建议并不离谱。

您通常会做的是让一大群人尝试一堆标准查询。或者如果你想让实验更公平，你可以让每个用户选择他们自己的查询以避免任何偏见的指责（因为你可以选择你知道你的引擎擅长回答的标准查询）。

对于每个查询，用户将查看前 10 个左右的结果，并说出他们是否认为每个结果相关（您可能希望用户按比例评分，而不仅仅是是/否）。

然后，对于每个查询，您可以计算准确度分数，具体取决于您设置实验的确切方式Precision 和 Recall可能是最合适的措施，尽管这些措施依赖于您可能不一定拥有的已知预期答案。计算简单的百分比准确度可能更简单、更合适。

要确定您的搜索引擎是否比您的竞争对手更好，您需要让相同的人在以相同方式得分的搜索引擎上执行相同的查询。完成此操作后，您可以计算搜索引擎的分数并将其与您自己的分数进行比较。