我读过一篇关于机器学习的论文，其中包含一个 Oracle 实验来比较他的研究和另一项研究？但似乎不太清楚什么是 Oracle 实验？
问问题
2647 次
1 回答
31
“神谕”是一个总能给出正确答案的虚构实体。oracle 实验用于将您的实际系统与系统的某些组件始终执行正确操作时的行为进行比较。
例如，在 NLP 领域，假设您构建了一个解析器，它将词性 (POS) 标记的句子作为输入。在现实世界中，您必须通过实际的词性标注器运行真实的句子。这个标注器可能会产生精度高于 90% 但低于 100% 的结果。由于您的解析器的准确性取决于传入标签的准确性，因此您的解析器的性能将受到这种损失的负面影响。
如果 POS 标记器是完美的，为了查看解析器的性能如何，您可以使用 oracle 标记器运行实验。在这个实验中，您将用一个知道句子的实际 POS 标签的程序替换真正的 POS 标签器，因此总是以 100% 的准确率返回标签结果。
因此，如果您的解析器在使用真实标注器的实验中获得 85% 的准确率，而在使用 oracle 标注器的实验中获得 90% 的准确率，那么您知道 5% 的性能损失直接归因于标注器的错误。
于 2012-05-10T22:17:36.090 回答