16

有没有使用过 TREC_EVAL 的机构？我需要一个“假人的 Trec_EVAL”。

我正在尝试评估一些搜索引擎来比较我的论文工作的召回精度、排名质量等参数。我找不到如何使用 TREC_EVAL 向搜索引擎发送查询并获得可与 TREC_EVAL 一起使用的结果文件。

4

1 回答 1

22

基本上，对于 trec_eval，您需要一个（人工生成的）基本事实。这必须采用特殊格式：

query-number 0 document-id relevance

给定一个像101Categories（维基百科条目）这样的集合，就像

Q1046   0   PNGImages/dolphin/image_0041.png    0
Q1046   0   PNGImages/airplanes/image_0671.png  128
Q1046   0   PNGImages/crab/image_0048.png   0

查询号因此标识了一个查询（例如，来自某个类别的图片以查找相似的图片）。然后必须将搜索引擎的结果转换为

query-number    Q0  document-id rank    score   Exp

或在现实中

Q1046   0   PNGImages/airplanes/image_0671.png  1   1   srfiletop10
Q1046   0   PNGImages/airplanes/image_0489.png  2   0.974935    srfiletop10
Q1046   0   PNGImages/airplanes/image_0686.png  3   0.974023    srfiletop10

如此处所述。您可能需要调整“document-id”的路径名。然后您可以计算标准指标trec_eval groundtrouth.qrel results。 trec_eval --help应该给你一些想法来选择正确的参数来使用你的论文所需的测量。

trec_eval不发送任何查询，您必须自己准备。trec_eval仅根据实际情况和您的结果进行分析。

一些基本信息可以在这里和这里找到。

于 2011-11-17T22:35:06.433 回答