machine-translation - 如何在 mgiza++ 或 giza++ 中加速 mkcls 步骤，它占用大量时间进行词聚类？

Question

我正在使用 MGIZA++ 来对齐来自联合国平行语料库的双文字。</p>

在使用 MGIZA++ 训练对齐模型之前，我需要使用mkcls脚本创建隐马尔可夫模型算法所需的类，如下所示：

mkcls -c50 -n10 -ptest.en -Vtest.en.vcb.classes

我正在用 1,000,000 行的语料库上尝试它，但这需要很长时间并且仍然无法得到结果（当我尝试一个小数据集时，它可以工作）。

是否有用于执行 mkcls 的多线程或并行工具包？