giza++ - GIZA++：禁止零句长0

Question

当我在测试数据集上使用时，我一直在使用 GIZA++ 翻译句子，显示错误“错误：禁止零句子长度 0”。有什么办法可以避免这个错误

Answer 1

我对en-vi语料库有同样的问题。（英语-越南语）因为您的语料库数据太长或不干净。

你应该清理你的语料库数据。

它将句子长度限制为 80。这是Moses tools的命令。

~/mosesdecoder/scripts/training/clean-corpus-n.perl 
~/corpus/train en vi 
~/corpus/train.clean 1 80

或者您可以手动调整。

尽量将每行的长度减少到 100 个字符或 80 个单词以内。