parsing - 在斯坦福解析器中添加一种语言

Question

我想用另一种尚未实现的语言使用斯坦福解析器。

我查看了网站，但没有发现任何可以帮助我的东西。

我想我要做的就是“只是”创建一个新的语言PCFG.ser，但要做到这一点？

另外，如果有人知道是否应该发布法语和西班牙语？

Answer 1

需要做几件事：

• 您需要一个树库（一组手动解析的树），从中计算解析器中使用的概率
• 您需要特定于语言的文件（如 xLanguagePack、xTreebankParserParams，它们指定有关语言、树库编码和解析选项的内容
• 然后在树库上训练解析器以生成语法文件（请参阅发行版中的 makeSerialized.csh）
• 您可能需要特定于语言的标记器将文本划分为标记
• 如果你想要 Stanford Dependencies 输出，那么还有一个基于规则的层来定义依赖关系

从 2011 年开始，我们确实开始使用斯坦福解析器分发法国模型。并且从 2015 年开始，我们已经开始分发西班牙模型。