问题标签 [sentiment-analysis]

我尝试了朴素贝叶斯分类器，它的工作非常糟糕。SVM 工作得更好一些，但仍然很糟糕。我读过的大多数关于 SVM 和朴素贝叶斯的论文都有一些变化（n-gram、POS 等），但它们都给出了接近 50% 的结果（文章的作者谈论 80% 和高，但我不能得到同样准确真实数据）。

除了词法分析，还有更强大的方法吗？SVM 和贝叶斯假设单词是独立的。这些方法称为“词袋”。如果我们假设这些词是相关联的呢？

例如：使用先验算法检测如果句子包含“bad and wrong”，那么该句子有 70% 的概率是否定的。我们也可以使用单词之间的距离等等。

这是个好主意还是我正在发明自行车？

自过去 1 年以来，我一直在从事文档级别的情绪分析。文档级情感分析提供完整文档的情感。例如 - 文本“诺基亚很好，但沃达丰很糟糕”将具有与之相关的负面极性，因为它与诺基亚和沃达丰实体无关。怎么可能获得实体层面的情绪，比如对诺基亚有利但对沃达丰不利？有没有研究论文可以解决这些问题？

我正在做这个项目，我希望从他最近的推文中对 Twitter 用户的一般情绪进行分类。既然推文可以属于各种各样的领域，我应该怎么做？

我可以使用朴素贝叶斯算法（例如：http: //phpir.com/bayesian-opinion-mining），但由于推文可以属于各种各样的域，我不确定这是否非常准确。

另一种选择可能是使用SentiWordNet或here等情感词典。这会是更好的方法吗，我不知道。

如果我打算使用朴素贝叶斯或其他算法，我在哪里可以获得数据来训练我的分类器？

在这里补充一下，我主要使用 PHP 进行编码。

我正计划创建一个应用程序来将 Twitter 情绪存储在特定主题的数据库中。我不需要存储推文，只需要存储主题的情绪。我可以使用 SQL 或 noSQL DB。该应用程序将摄取大量数据，因此它需要高效。

我想知道摄取推文是否更有效，将它们存储在 noSQL 数据库中，然后作为一个单独的进程，从数据库中读取推文并分析情绪并将其存储。或者，从 API 单独读取推文、动态确定情绪并将情绪存储在数据库中是否更有效？谢谢你的帮助。

我正在做一个小型研究项目，我应该尝试将财经新闻文章标题分为正类和负类。对于分类，我使用的是 SVM 方法。我现在看到的主要问题是不能产生很多特征对于机器学习。新闻文章包含许多命名实体和其他“垃圾”元素（当然从我的角度来看）。

您能否推荐可用于 ML 训练的 ML 功能？目前的结果是：精度=0.6，召回率=0.8

谢谢

我正在做情绪分析。我想是否有任何可用的形容词表示正面/负面（例如正面：好，真棒，惊人，）含义？第二件事是一组数据，我可以将其用作测试用例。

我对 NLP 很陌生……是否有任何 API 或方法可以让我从句子中识别动词、形容词或副词？我在项目中需要它吗？

首先很抱歉我的英语不太完美……我来自德国；）

所以，对于我的一个研究项目（学士论文），我需要分析关于某些公司和品牌的推文的情绪。为此，我需要编写自己的程序脚本/使用某种修改过的开源代码（没有 API ——我需要了解正在发生的事情）。

您将在下面找到我找到的一些 NLP 应用程序的列表。我现在的问题是您会推荐哪种方法以及哪种方法？哪一个不需要长夜调整代码？

例如：当我在推特上显示音乐播放器 >iPod< 时，有人写道：“这是糟糕的一天，但至少我的 iPod 让我快乐”或者更难：“这是糟糕的一天，但至少我的 iPod 弥补了这一天"

哪个软件足够聪明，可以理解重点是 iPod 而不是天气？

还有哪个软件是可扩展的/资源高效的（我想分析几条推文，不想花数千美元）？

机器学习和数据挖掘

Weka - 是用于数据挖掘的机器学习算法的集合。它是最流行的文本分类框架之一。它包含多种算法的实现，包括朴素贝叶斯和支持向量机（SVM，在 SMO 下列出）[注意：其他常用的非 Java SVM 实现是 SVM-Light、LibSVM 和 SVMTorch]。一个相关的项目是 Kea（Keyphrase Extraction Algorithm），一种从文本文档中提取关键短语的算法。

Apache Lucene Mahout - 一个孵化器项目，用于在 Hadoop map-reduce 框架之上创建通用机器学习算法的高度可扩展的分布式实现。

自然语言处理工具

LingPipe -（在技术上不是“开源的，见下文）Alias-I 的 Lingpipe 是一套用于文本语言处理的 Java 工具，包括实体提取、语音标记 (pos)、聚类、分类等......它是其中之一业界最成熟和使用最广泛的开源 NLP 工具包。它以其速度、稳定性和可扩展性而闻名。它的最佳功能之一是大量精心编写的教程，可帮助您入门。他们有一个竞争链接列表，包括学术和工业工具。请务必查看他们的博客。LingPipe 是在包含源代码的免版税商业许可下发布的，但从技术上讲它不是“开源”的。

OpenNLP - 托管各种基于 Java 的 NLP 工具，这些工具使用 Maxent 机器学习包执行句子检测、标记化、词性标记、分块和解析、命名实体检测和共同引用分析。

Stanford Parser and Part-of-Speech (POS) Tagger - 来自斯坦福 NLP 组的用于句子解析和词性标记的 Java 包。它具有概率自然语言解析器的实现，包括高度优化的 PCFG 和词法依赖解析器，以及词法 PCFG 解析器。它具有完整的 GNU GPL 许可证。

OpenFST - 用于操作加权有限状态自动机的包。这些通常用于表示概率模型。它们用于为语音识别、OCR 纠错、机器翻译和各种其他任务的文本建模。该库由 Google Research 和 NYU 的贡献者开发。它是一个 C++ 库，旨在快速且可扩展。

NTLK - 自然语言工具包是用于教学和研究分类、聚类、语音标记和解析等的工具。它包含一组用于实验的教程和数据集。它由墨尔本大学的 Steven Bird 撰写。

意见查找器- 一个执行主观分析的系统，自动识别意见、情绪、推测和其他私人状态何时出现在文本中。具体而言，OpinionFinder 旨在识别主观句子并标记这些句子中主观性的各个方面，包括主观性的来源（持有者）和表达积极或消极情绪的短语中包含的单词。

Tawlk/osae - 用于社交文本情感分类的 python 库。最终目标是拥有一个“正常工作”的简单库。它应该有一个容易进入的障碍，并有完整的记录。我们使用在 negwords.txt 和 poswords.txt 上收集的推文使用停用词过滤实现了最佳准确性

GATE - GATE 已有 15 年的历史，并且正在积极用于涉及人类语言的所有类型的计算任务。GATE 擅长各种形状和大小的文本分析。从大公司到小型初创公司，从价值数百万欧元的研究联盟到本科项目，我们的用户社区是此类系统中最大和最多样化的，并且分布在除一个大陆之外的所有大陆1。

textir - 一套用于文本和情感挖掘的工具。这包括'mnlm'函数，用于稀疏多项逻辑回归，'pls'，一个简洁的偏最小二乘例程，以及'topics'函数，用于潜在主题模型中的有效估计和维度选择。

NLP 工具套件 - 这里的 JULIE 实验室提供了一个全面的 NLP 工具套件，用于语义搜索、信息提取和文本挖掘的应用目的。我们不断扩展的大多数工具套件都基于机器学习方法，因此与领域和语言无关。

...

附带说明：您会推荐 twitter 流式传输还是 get API？

至于我，我是 python 和 java 的粉丝；）

非常感谢你的帮助！！！

我使用 Weka 的 Naive Bayes 进行文本分类。我的句子有两个类，“正面”和“负面”。我收集了大约 207 个积极意义的句子和 189 个消极意义的句子，以创建我的训练集。

当我用一个包含强烈否定意义的句子的测试集运行朴素贝叶斯时，比如“恨”这个词，结果的准确率相当不错，大约 88%。但是当我使用具有积极意义的句子时，例如“爱”这个词中的一个，作为测试集，准确率要差得多，大约为 56%。

我认为这种差异可能与我的训练集有关，尤其是它的“正面”句子。

你能想到任何可以解释这种差异的原因吗？或者也许有一种方法可以帮助我找出问题的根源？

非常感谢您的时间，

南蒂亚

我几乎整天都在网上搜索，试图找到是否有办法使用 Solr 来做到这一点。基本上我想从给定的文本及其频率中提取正面和负面的词。提前感谢您的指导！