4

Asiya 是机器翻译评估工具包,用于对机器翻译输出进行评分 ( http://asiya.lsi.upc.edu/ )。它主要是用 Perl 编写的。

如何使用 Asiya 执行 BLEU 指标?

我关注了youtube介绍视频:https ://www.youtube.com/watch?v=rA5De9Z4uWI

并创建了一个配置文件(Asiya.config):

input=raw
srclang=en
srccase=en
trglang=ja
trgcase=ja

src=corpus.tok/test.tok.en
ref=corpus.tok/hyp.tok.ja
sys=corpus.tok/test.tok.ja

some_metrics= BLEU NIST METEOR-ex Ol

我的机器翻译输出文件在corpus.tok/hyp.tok.ja,源文件在corpus.tok/test.tok.en,参考文件(正确翻译)在corpus.tok/test.tok.ja. 它们是标记化的纯文本文件,每一行都是一个句子。

当我跑的时候:

/home/expert/asiya/bin/Asiya.pl -eval single -g all -metric_set some_metrics Asiya.config

我收到了这个错误:

Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Common.pm line 784.
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Common.pm line 791.
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Scoring/ESA.pm line 339.
Use of uninitialized value in concatenation (.) or string at /home/expert/asiya/bin/../lib/IQ/Config.pm line 251.
[ASIYA] directory </tools> does not exist!

工具目录确实作为我运行命令的当前目录中的子目录存在。什么地方出了错?是否有可以为 Asiya 工具目录添加的参数?

如何使用 Asiya 进行 BLEU 评估?

如果我不使用 Asiya,我还能如何获得每个句子的 BLEU 分数和机器翻译输出的系统 BLEU 分数?

(有关http://nlp.lsi.upc.edu/redmine/boards/11/topics/138的更多详细信息)

4

0 回答 0