python - NLP 的 MITIE 库

Question

我试图了解 MITIE 如何与 Rasa 集成。我想知道 MITIE 文件 total_word_feature_extractor.dat 到底包含什么？我没有找到任何关于此的好的文档。

谢谢！

Answer 1

如果您在 Github 上的MITIE repo中深入了解，您可以找到答案。例如，这里有一些关于该文件内容的信息。

至于里面是什么，是的，它是 word2vec 的变体，基于本文中的两步 CCA 方法：http: //icml.cc/2012/papers/763.pdf。我还升级了它以包含类似于 CCA 方法的东西，但通过分析它们的形态来产生一个词向量来处理样本外的词。这显着改善了包含大量不在原始字典中的单词的数据集的结果。

至于 MITIE 如何集成到 Rasa 中，它是 Rasa 的少数后端选择之一。它提供了一些可以进行意图分类和 NER的管道组件。两者都使用 SVM 并使用total_word_feature_extractor.dat来提供单个词向量。