问题标签 [maxent]

我一直在 python 中使用 maxent 分类器并且它失败了，我不明白为什么。

我正在使用电影评论语料库。（总菜鸟）

这是错误（我知道我做错了，请链接到 Maxent 的工作原理）

警告（来自警告模块）：文件“C:\Python27\lib\site-packages\nltk\classify\maxent.py”，第 1334 行 sum1 = numpy.sum(exp_nf_delta * A, axis=0) RuntimeWarning：遇到无效值乘以

警告（来自警告模块）：文件“C:\Python27\lib\site-packages\nltk\classify\maxent.py”，第 1335 行 sum2 = numpy.sum(nf_exp_nf_delta * A, axis=0) RuntimeWarning：遇到无效值乘以

警告（来自警告模块）：文件“C:\Python27\lib\site-packages\nltk\classify\maxent.py”，第 1341 行 deltas -= (ffreq_empirical - sum1) / -sum2 RuntimeWarning：在除法中遇到无效值

我在 R 中使用 ROCR 包。但我收到错误“预测（预测，标签）：预测格式无效。”

请告诉我解决方案。

这是代码：

假设我们有三个类：A、B 和 C，我们使用标准 MaxEnt 分类器对文档“d”进行分类，并得出以下概率：

在某种程度上，我觉得这与这组概率非常不同：

有没有办法区分这两者之间的差异？

我正在尝试在 weka 中使用最大熵进行文本分类。我在 Weka 中使用逻辑回归，它相当于最大熵。我读到它的计算成本很高。我有 2G 的当前设置分配给 JVM，并且我将词向量维度保持为 10, 000 以评估最大熵，但是它总是导致 JVM 内存不足。这让我觉得我犯了任何错误，因为 2G 堆大小对于任何分类器来说都太大了，不是吗？

1) 有人在 Weka 中使用过 MaxEnt(Logistic.Java) 吗？文本分类应该这么慢吗？

2) MaxEnt 是否有任何我可能忽略的参数调整？

[项目堆栈：Java、Opennlp、Elasticsearch (datastore)、twitter4j 从 twitter 读取数据]

我打算使用 maxent 分类器对推文进行分类。我知道第一步是训练模型。从文档中我发现我们有一个基于 GISTrainer 的训练方法来训练模型。我设法整理了一段简单的代码，它利用 opennlp 的 maxent 分类器来训练模型并预测结果。

我使用了两个文件 positive.txt 和negative.txt 来训练模型

positive.txt的内容

否定.txt的内容

下面的 java 方法会生成结果。

我有以下问题。

1）如何迭代训练模型？另外，如何在模型中添加新句子/单词？数据文件有特定的格式吗？我发现该文件至少需要有两个由制表符分隔的单词。我的理解有效吗？2) 是否有任何公开可用的数据集可用于训练模型？我找到了一些电影评论的来源。我正在从事的项目不仅涉及电影评论，还涉及其他内容，例如产品评论，品牌情绪等。3） 这在一定程度上有所帮助。是否有公开可用的工作示例？我找不到 maxent 的文档。

请帮帮我。我有点受阻。

我正在尝试RTextTools使用 R 包对文本进行分类。

我已经使用 - 完成了此操作SVM（并且下面的代码可以正常工作:)

但是当我用MAXENT算法做同样的事情时

它向我抛出错误：

当我进行回溯时 - 得到了以下详细信息

更新：

有没有办法解决这个问题。

我有黄金数据，我在其中注释了几个文件中的所有房间号。我想使用 openNLP 来训练一个使用这些数据并对房间号进行分类的模型。我被困在从哪里开始。我阅读了 openNLP maxent 文档，查看了 opennlp.tools 中的示例，现在查看了 opennlp.tools.ml.maxent - 这似乎是我应该使用的东西，但我仍然不知道如何使用。有人可以给我一些关于如何使用 openNLP maxent 以及从哪里开始的基本想法吗？任何帮助将不胜感激。

我想使用 openNLP MaxEnt 编写自己的模型，为此我想实现 ContextGenerator 和 EventStream 接口（如文档中所述）。我查看了 openNLP Chuncker、POSTagger 和 NameFinder 的这些实现，但所有这些实现都使用了已弃用的“Pair”，并且仅查看代码我不明白它们各自的 ContextGenerators 在做什么。我将创建的模型将通过查看每个令牌的 POS 标签将每个令牌分类为 RoomNumber 或非 RoomNumber。我应该如何开始为这个模型编写 ContextGenerator 和 EventStream。我知道上下文是什么以及功能是什么，但我不知道 ContextGenerator 做什么以及 EvenStream 做什么。我确实看过 openNLP maxent 页面，但没有帮助。请帮助我理解这一点，谢谢。

我正在尝试执行一个分类程序，我的训练数据如下所示：

（状态，（feature_1，feature_2，feature_3，...，feature_n））

因此，给定一组特征，我需要预测这些特征最可能对应的状态/标签/类别。

我设置了很好的CRFSuite模型，可以非常快速地制作 CRF，但是 CRF 真的非常适合这种学习吗？我过去使用 CRF 来处理状态序列，即第 n 个状态的标签也可能取决于之前的 $n-1 个状态的标签/特征。例如，下面是一个训练序列，我用它来尝试在给定成人 IPA 转录的情况下预测孩子的语音输出：

CRF 对这些数据有意义，因为音韵学/语音学非常有规律——选择什么声音会极大地影响未来的声音选择，例如元音后面可能会跟着一个辅音而不是另一个元音。

我（相信）理解 CRF 实际上只是 Maxent 模型的顺序形式。因此，如果我所有的训练序列总是长度为 1 美元，那么我基本上只有一个称为 CRF 的 Maxent 模型吗？

这个问题CRF for named entity recognition使用 CRF for named entity recognition 解决，但我猜它使用状态序列？

我正在使用 OpenNLP 令牌名称查找器来解析非结构化数据，我已经创建了一个 4MM 记录的语料库（训练集），但是当我在 Eclipse 中使用 OpenNLP API 从这个语料库中创建一个模型时，这个过程大约需要 3 小时，即非常耗时。模型建立在默认参数上，即迭代 100 和截止值 5。

所以我的问题是，我怎样才能加快这个过程，怎样才能减少构建模型的过程所花费的时间。

语料库的大小可能是造成这种情况的原因，但只是想知道是否有人遇到过这种问题，如果是，那么如何解决这个问题。

请提供一些线索。

提前致谢！