r - 使用 qdap 对评论评论进行情感分析很慢

Question

我正在使用qdap包来确定特定应用程序的每个评论评论的情绪。我从 CSV 文件中读取评论意见并将其传递给 qdap 的极性函数。一切正常，我得到了所有评论的极性，但问题是计算所有句子的极性需要 7-8 秒（CSV 文件中存在的句子总数为 779）。我在下面粘贴我的代码。

  temp_csv <- filePath()
  attach(temp_csv)
  text_data <- temp_csv[,c('Content')]
  print(Sys.time())
  polterms <- list(neg=c('wtf'))
  POLKEY <- sentiment_frame(positives=c(positive.words),negatives=c(polterms[[1]],negative.words))     
  polarity <- polarity(sentences, polarity.frame = POLKEY) 
  print(Sys.time())

所用时间如下：

[1]“2016-04-12 16:43:01 IST”

[1]“2016-04-12 16:43:09 IST”

如果我做错了什么，有人可以告诉我吗？我怎样才能提高性能？

Answer 1

我是qdap的作者。该polarity函数是为更小的数据集设计的。随着我的角色转变，我开始使用更大的数据集。我需要快速和准确（这两件事是相互对立的），并且从那时起开发了一个分离包感测器。该算法经过优化，比qdap的极性更快、更准确。

就目前而言，您有 5 个基于字典（或基于训练的算法）来进行情绪检测。每个都有它的缺点 (-) 和优点 (+)，并且在某些情况下很有用。

1. qdap +on CRAN；-慢的
2. syuzhet +在 CRAN 上；+快；+伟大的阴谋; - 对非文学用途不太准确
3. 感悟者+快；+更高的准确性；- 仅 GitHub
4. stansent（斯坦福港） +最准确；-慢点
5. tm.plugin.sentiment -在 CRAN 上存档；- 我不能让它轻松工作

我在下面的代码中显示了对上面前 4 个选项的样本数据的时间测试。

安装包并制作计时功能

我使用 pacman 是因为它允许读者只运行代码；虽然你可以用install.packages&来代替library。

if (!require("pacman")) install.packages("pacman")
pacman::p_load(qdap, syuzhet, dplyr)
pacman::p_load_current_gh(c("trinker/stansent", "trinker/sentimentr"))

pres_debates2012 #nrow = 2912

tic <- function (pos = 1, envir = as.environment(pos)){
    assign(".tic", Sys.time(), pos = pos, envir = envir)
    Sys.time()
}

toc <- function (pos = 1, envir = as.environment(pos)) {
    difftime(Sys.time(), get(".tic", , pos = pos, envir = envir))
}

id <- 1:2912

计时

## qdap
tic()
qdap_sent <- pres_debates2012 %>%
    with(qdap::polarity(dialogue, id))
toc() # Time difference of 18.14443 secs


## sentimentr
tic()
sentimentr_sent <- pres_debates2012 %>%
    with(sentiment(dialogue, id))
toc() # Time difference of 1.705685 secs


## syuzhet
tic()
syuzhet_sent <- pres_debates2012 %>%
    with(get_sentiment(dialogue, method="bing"))
toc() # Time difference of 1.183647 secs


## stanford
tic()
stanford_sent <- pres_debates2012 %>%
    with(sentiment_stanford(dialogue))
toc() # Time difference of 6.724482 mins

有关时间和准确性的更多信息，请参阅我的感悟者 README.md ，如果它有用，请给 repo 加注星标。下面的可视化捕获了自述文件中的一项测试：