10

在我之前的 Java 项目中，我使用过 LingPipe、斯坦福的 NER、RiTa 和各种句子相似度库，这些项目专注于大量英文文本（大约 10,000 个文档）的文本（预处理）处理（索引、xml 标记、主题检测等）总和 > 1gb 的文本）。也许我是一个糟糕的 Java 程序员，但是当我切换到不同的语料库时，我发现自己输入了很多代码并使用了很多库。总的来说，我觉得可能有更好的工具来完成这项工作。

我想我的问题是，我会从切换到 Python 和 NLTK 进行信息检索/语言处理中受益吗？或者是否有足够的利弊让它变得非常主观？NLTK 是否足够直观，可以快速学习？

我会弄脏我的手，但在接下来的几天里我将无法使用个人机器。

4

2 回答 2

12

NLTK适用于自然语言处理。我已经将它用于我的数据挖掘项目。您可以训练自己的分析仪。学习曲线并不陡峭。

NLTK 拥有庞大的语料库来训练您的分析器。您还可以提供自己的数据集，例如，带有词性标签的期刊。

因为python对文本处理非常好，你可以试一试。另外，它有一个在线教程

请不要忘记使用 python 2.x 版本。尝试 python 2.6。NLTK 可能不适用于 python 3.x

于 2011-04-08T02:02:36.287 回答
7

如果您已经了解 NLP 的基础知识，我认为 NLTK 应该很容易上手。它有一堆文档，两本书，我在streamhacker.com上写了很多文章和教程。如果您不想丢失 Java 包中的任何内容，理论上您可以使用 Jython（也许还有execnet）将它与 NLTK 结合起来。

您可能还想查看Pattern库。

于 2011-04-09T15:09:41.703 回答