1

对于我的验证数据集(自己的数据),我使用 COCO 和 Kitti 评估指标进行评估。

我预计 COCO AP(0.5)值和 Kitti 2D AP(iou=0.5)的得分相似。但是我不确定它们是否具有可比性,尽管它们背后的逻辑是相同的(检查 2D 前视图 GT 和 DET 框的 iou>0.5 并计算匹配和精度/召回率)。 

COCO obj detection AP 0.5 = 0.59 Kitti 2D AP with iou 设置为 0.5 = 0.33

期望它们具有可比性是否正确?我发现大多数论文只使用其中之一,没有人真正比较过这两种评估指标的结果。 

4

1 回答 1

0

从他们的网站

为了评估,我们计算对象检测的精确召回曲线和联合对象检测和方向估计的方向相似召回曲线。在后一种情况下,不仅必须正确定位对象 2D 边界框,而且还要评估鸟瞰图中的方向估计。

(..)

我们使用 PASCAL 标准评估对象检测性能,并使用我们 CVPR 2012 出版物中讨论的度量来评估对象检测和方向估计性能

不太了解 Kitti 评估指标,通过阅读本文,它们似乎无法相互比较,并且可能不适合您的常见对象检测过程。

如果您的数据与 Kiti 数据集及其目标无关,强烈建议您放弃他们的指标并使用 COCO 指标或 PASCAL。

PASCAL 是最初的公制,但 COCO 是最近使用最多的,因为它是一种更严格的度量。

于 2020-09-12T02:05:47.573 回答