Asiya 是机器翻译评估工具包,用于对机器翻译输出进行评分 ( http://asiya.lsi.upc.edu/ )。它主要是用 Perl 编写的。
如何使用 Asiya 执行 BLEU 指标?
我关注了youtube介绍视频:https ://www.youtube.com/watch?v=rA5De9Z4uWI
并创建了一个配置文件(Asiya.config):
input=raw
srclang=en
srccase=en
trglang=ja
trgcase=ja
src=corpus.tok/test.tok.en
ref=corpus.tok/hyp.tok.ja
sys=corpus.tok/test.tok.ja
some_metrics= BLEU NIST METEOR-ex Ol
我的机器翻译输出文件在corpus.tok/hyp.tok.ja
,源文件在corpus.tok/test.tok.en
,参考文件(正确翻译)在corpus.tok/test.tok.ja
. 它们是标记化的纯文本文件,每一行都是一个句子。
当我跑的时候:
/home/expert/asiya/bin/Asiya.pl -eval single -g all -metric_set some_metrics Asiya.config
我收到了这个错误:
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Common.pm line 784.
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Common.pm line 791.
Smartmatch is experimental at /home/expert/asiya/bin/../lib/IQ/Scoring/ESA.pm line 339.
Use of uninitialized value in concatenation (.) or string at /home/expert/asiya/bin/../lib/IQ/Config.pm line 251.
[ASIYA] directory </tools> does not exist!
工具目录确实作为我运行命令的当前目录中的子目录存在。什么地方出了错?是否有可以为 Asiya 工具目录添加的参数?
如何使用 Asiya 进行 BLEU 评估?
如果我不使用 Asiya,我还能如何获得每个句子的 BLEU 分数和机器翻译输出的系统 BLEU 分数?
(有关http://nlp.lsi.upc.edu/redmine/boards/11/topics/138的更多详细信息)