nltk - 获取日语文本的 METEOR 分数

Question

我希望为几个日语字符串生成 METEOR 分数。我已经导入nltk，但结果wordnet并omw不能说服我它工作正常。

from nltk.corpus import wordnet
from nltk.translate.meteor_score import single_meteor_score

nltk.download('wordnet')
nltk.download('omw')

reference = "チップは含まれていません。"
hypothesis = "チップは含まれていません。"

print(single_meteor_score(reference, hypothesis))

这个输出0.5但肯定应该更接近于1.0参考和假设是相同的？

我是否需要以某种方式指定要在调用中使用的 wordnet 语言single_meteor_score()，例如：

single_meteor_score(reference, hypothesis, wordnet=wordnetJapanese.

Answer 1

等待合格的语言学家审查，我似乎找到了解决方案。我找到了一个用于日语的开源标记器。我预处理了我所有的参考和假设字符串，在日语标记之间插入空格，然后nltk.single_meteor_score()在文件上运行。