nlp - 情绪分析的训练数据

Question

我在哪里可以获得已被归类为企业领域情绪正面/负面的文档语料库？我想要为公司提供评论的大量文档，例如分析师和媒体提供的公司评论。

我发现有产品和电影评论的语料库。是否有与商业语言相匹配的商业领域的语料库，包括对公司的评论？

score 37 · Accepted Answer

http://www.cs.cornell.edu/home/llee/data/

http://mpqa.cs.pitt.edu/corpora/mpqa_corpus

您可以使用带有表情符号的 twitter，如下所示：http ://web.archive.org/web/20111119181304/http://deepthoughtinc.com/wp-content/uploads/2011/01/Twitter-as-a- Corpus-for-Sentiment-Analysis-and-Opinion-Mining.pdf

希望这能让你开始。如果您对否定、情感范围等特定的子任务感兴趣，文献中还有更多内容。

要关注公司，您可以将方法与主题检测结合起来，或者廉价地只提及给定公司的大量提及。或者，您可以让 Mechanical Turkers 对您的数据进行注释。

score 25 · Accepted Answer

这是我几周前从我的博客中写的一个列表。其中一些数据集最近已包含在 NLTK Python 平台中。

词典

刘冰的意见词典
- 网址：http ://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#lexicon
- 论文：挖掘和总结客户评论
- 注意：包含在 NLTK Python 平台中
MPQA 主观词典
- 网址： http: //mpqa.cs.pitt.edu/#subj_lexicon
- 论文：在短语级情感分析中识别上下文极性（Theresa Wilson、Janyce Wiebe 和 Paul Hoffmann，2005 年）。
SentiWordNet
- 网址：http ://sentiwordnet.isti.cnr.it
- 注意：包含在 NLTK Python 平台中
哈佛一般询问者
- 网址：http ://www.wjh.harvard.edu/~inquirer
- 论文：The General Inquirer：A Computer Approach to Content Analysis (Stone, Philip J; Dexter C. Dunphry; Marshall S. Smith; and Daniel M. Ogilvie. 1966)
语言查询和字数统计 (LIWC)
- 网址：http ://www.liwc.net
维达词典
- 网址：https ://github.com/cjhutto/vaderSentiment，http : //comp.social.gatech.edu/papers
- 论文：Vader：一种基于规则的简约模型，用于社交媒体文本的情感分析（Hutto, Gilbert. 2014）

数据集

MPQA 数据集
- 网址： http: //mpqa.cs.pitt.edu
- 注：GNU 公共许可证。
  - 政治辩论数据
  - 产品辩论数据
  - 主观感觉注释
Sentiment140（推文）
STS-Gold（推文）
- 网址：http ://www.tweenator.com/index.php?page_id=13
- 论文：推特情绪分析的评估数据集（Saif、Fernandez、He、Alani）
- 注意：与 Sentiment140 一样，但数据集更小，并且带有人工注释器。它带有 3 个文件：推文、实体（带有他们的情绪）和一个聚合集。
客户评论数据集（产品评论）
- 网址：http ://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
- 论文：挖掘和总结客户评论
- 注意：评论标题、产品特征、带有意见强度的正面/负面标签、其他信息（比较、代词解析等）
包含在 NLTK Python 平台中
优点和缺点数据集（优点和缺点句子）
- 网址：http ://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
- 论文：比较句中的挖掘意见 (Ganapathibhotla, Liu 2008)
- 注意<pros>：标记或标记的句子列表<cons>
包含在 NLTK Python 平台中
比较句（评论）
- 网址：http ://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
- 论文：识别文本文档中的比较句（Nitin Jindal 和 Bing Liu），挖掘客户评论中的意见特征（Minqing Hu 和 Bing Liu）
- 注意：句子、POS 标记的句子、实体、比较类型（不等、等、最高级、不可分级）
包含在 NLTK Python 平台中
桑德斯分析推特情绪语料库（推文）
- 网址： http: //www.sananalytics.com/lab/twitter-sentiment
5513 条手工分类的推文，包含 4 个不同的主题。由于 Twitter 的 ToS，包含一个小的 Python 脚本来下载所有推文。情绪分类本身是免费提供的，没有任何限制。它们可用于商业产品。它们可能会被重新分配。它们可能会被修改。
西班牙语推文（推文）
- 网址：http ://www.daedalus.es/TASS2013/corpus.php
SemEval 2014（推文）
- 网址：http ://alt.qcri.org/semeval2014/task9
您不得重新分发推文、注释或获得的语料库（来自自述文件）
各种数据集（评论）
- 网址：https ://personalwebs.coloradocollege.edu/~mwhitehead/html/opinion_mining.html
- 论文：构建通用跨域情感挖掘模型（Whitehead 和 Yaeger），使用集成分类模型进行情感挖掘（Whitehead 和 Yaeger）
各种数据集#2（评论）
- 网址：http ://www.text-analytics101.com/2011/07/user-review-datasets_20.html

参考：

Keenformatics - 情绪分析词典和数据集（我的博客）
个人经验

score 12 · Accepted Answer

这里还有一些；

http://inclass.kaggle.com/c/si650winter11

http://alias-i.com/lingpipe/demos/tutorial/sentiment/read-me.html

score 4 · Accepted Answer

如果您有一些关于您想要探索的领域的资源（媒体渠道、博客等），您可以创建自己的语料库。我在python中这样做：

使用 Beautiful Soup http://www.crummy.com/software/BeautifulSoup/来解析我想要分类的内容。
将那些表示对公司的正面/负面意见的句子分开。
使用 NLTK 来处理这个句子，tokenize words，POS tagging 等。
使用 NLTK PMI 计算仅在一类中最常见的二元组或三元组

创建语料库是一项艰巨的预处理、检查、标记等工作，但具有为特定领域准备模型的好处，可多次提高准确性。如果您可以获得已经准备好的语料库，请继续进行情绪分析；）

score 1 · Accepted Answer

我不知道有任何这样的语料库可以免费获得，但是您可以在未标记的数据集上尝试一种无监督的方法。

score 0 · Accepted Answer

您可以从 Datafiniti 获得大量在线评论。大多数评论都带有评级数据，这将提供比正面/负面更多的情绪粒度。这是带有评论的企业列表，这是带有评论的产品列表。

nlp - 情绪分析的训练数据

6 回答 6

词典

数据集

Related

Reference