summarization - ROUGE评估方法给出零值

Question

我已经按照http://kavita-ganesan.com/rouge-howto中的描述设置了所有参数。但我得到的精度召回和 f-1 为零。请帮帮我，我该怎么办？

Answer 1

如果您已正确设置所有参数并且在运行 rouge 时没有出现任何错误，那么您在以 html 格式制作摘要文件时可能犯了以下错误。

rouge does not handle whitespaces properly 
thus
<a name="1">[1]</a> <a href="#1" id= 1>
<a name="1">[1]</a> <a href="#1" id=1>
are not the same

在第一种情况下，您不会看到任何错误，但输出将为零。在第二种情况下，您将获得正确的输出。

希望这可以帮助..

Answer 2

settings.xml 文件应如下所示：

<ROUGE_EVAL version="1.5.5">
    <EVAL ID="1">
        <PEER-ROOT>systems</PEER-ROOT>
        <MODEL-ROOT>models</MODEL-ROOT>
        <INPUT-FORMAT TYPE="SPL" />
        <PEERS>
            <P ID="1">peer.txt</P>
        </PEERS>
        <MODELS>
           <M ID="A">modelA.txt</M>
           <M ID="B">modelB.txt</M>
           <M ID="C">modelC.txt</M>
           <M ID="D">modelD.txt</M>
        </MODELS>
    </EVAL>
</ROUGE_EVAL>

尽管您的输入格式类型可能不同，但我发现 SPL 适用于 .txt 而 SEE 适用于 HTML。

让我绊倒的一件事是：<M ID="A">modelA.txt</M>，我把它当做<P ID="A">modelA.txt</P>，ROUGE 没有抱怨，它只是每个值都为 0。所以要留意这样的小事。