performance - 边缘检测：任何性能评估技术？

Question

我正在研究图像中的边缘检测，并想评估算法的性能，如果有人可以给我一个关于如何进行的参考或方法，那将非常有帮助。:)

我没有基本事实，数据集包括彩色和灰色图像。

谢谢你。

Answer 1

1. 创建具有已知边缘的合成数据集，例如通过 3D 渲染、通过使用精确蒙版合成 2D 图像（可在免版税照片集中获得）或直接引入边缘（细线/微弱线）。请记住添加一些看起来像边缘的混杂非边缘，其类型适合您正在调整的内容。

2. 使用您的（非合成）数据集。运行要比较的参考算法。还产生参考算法的组合，例如通过投票（多数，N 中至少 K 等）。计算您的算法与参考算法性能的统计数据，根据 (a) 您的算法分类为边缘的点数，每个参考算法或组合不分类为边缘（误报），或 (b) 点数参考算法将其分类为您的算法没有的边缘（假阴性）。您还可以通过查看每个点并查看哪些算法将（或不）分类为边缘来计算算法的等级相关类型数。

3. 手动创建基本事实。使用参考寻边算法作为起点，然后手动修复。无论如何，对于少量图像来说可能很有价值。

祝你好运！

Answer 2

对于比较，像我解释的@Alex 那样的定量测量是最好的。为此，您需要使用基本事实集定义什么是“正确的”，以及一种方法来始终如一地确定给定图像是否正确或更精细的水平，它的正确程度（例如百分比之类的数字）。@Alex我给了一个方法来做到这一点。

在没有基本事实的图形研究中经常使用的另一个选项是用户研究。通常不太理想，因为它们耗时且通常更昂贵。但是，如果您追求的是定性改进，或者定量测量太难做，那么用户研究是一个合适的解决方案。

当我指的是用户研究时，我的意思是就输入图像给出的结果对人们进行调查。你可以给他们一个等级来评价事物，并从你的结果和另一个算法的结果中随机给他们样本

当然，如果您仍然想要更多想法，请务必查看边缘检测论文以了解他们如何测量结果（实际上我会先看这里，因为他们已经经历了相同的过程并确定了最适合他们：谷歌学者）。