testing - 测试我的照应解析工具

Question

我正在构建一个回指解析工具。我做了很多文献综述，我对构建一个基本工具应该做些什么有一个很好的想法。但是，问题是，我该如何测试它。我找不到任何可以对其进行测试的带注释的语料库。有人可以建议我如何测量我的工具的精度和召回率。

Answer 1

从这里： http: //www.mitpressjournals.org/doi/pdf/10.1162/COLI_a_00152

第 4.1 节
OntoNotes-Dev
– CoNLL2011 共享任务中提供的 OntoNotes v4.0 的开发分区（Pradhan et al. 2011）。OntoNotes-Test
– CoNLL-2011 共享任务中提供的 OntoNotes v4.0 的测试分区。
ACE2004-Culota-Test – ACE 2004 语料库的分区，保留用于之前的几项研究的测试（Culota 等人 2007；Bengtson 和 Roth 2008；Haghighi 和 Klein 2009）。
ACE2004-nwire – ACE 2004 语料库的新闻专线子集，被 Poon 和 Domingos (2008) 以及 Haghighi 和 Klein (2009) 用于测试。
MUC6-Test – 来自第六届消息理解会议 (MUC-6) 评估的测试语料库。

您可以在此处找到 MUC 详细信息 http://www-nlpir.nist.gov/related_projects/muc/muc_data/muc_data_index.html

只需查看参考文献中实验部分的开头即可。你一定会找到链接。如果您查看最常用的那些，您会发现您的数据集。