2

我有两个包含相似单词的语料库。足够相似，使用setdiff并不能真正帮助我的事业。所以我已经转向寻找一种方法来提取更频繁的单词列表或语料库（最终制作一个 wordcloud）（假设这样的东西会有一个阈值 - 所以可能像 50% 更频繁？）在语料库中# 1，与语料库#2相比。

这就是我现在所拥有的一切：

> install.packages("tm")
> install.packages("SnowballC")
> install.packages("wordcloud")
> install.packages("RColorBrewer")
> library(tm)
> library(SnowballC)
> library(wordcloud)
> library(RColorBrewer)

> UKDraft = read.csv("UKDraftScouting.csv", stringsAsFactors=FALSE)
> corpus = Corpus(VectorSource(UKDraft$Report))
> corpus = tm_map(corpus, tolower)
> corpus = tm_map(corpus, PlainTextDocument)
> corpus = tm_map(corpus, removePunctuation)
> corpus = tm_map(corpus, removeWords, c("strengths", "weaknesses", "notes",  "kentucky", "wildcats", stopwords("english")))
> frequencies = DocumentTermMatrix(corpus)
> allReports = as.data.frame(as.matrix(frequencies))

> SECDraft = read.csv("SECMinusUKDraftScouting.csv", stringsAsFactors=FALSE)
> SECcorpus = Corpus(VectorSource(SECDraft$Report))
> SECcorpus = tm_map(SECcorpus, tolower)
> SECcorpus = tm_map(SECcorpus, PlainTextDocument)
> SECcorpus = tm_map(SECcorpus, removePunctuation)
> SECcorpus = tm_map(SECcorpus, removeWords, c("strengths", "weaknesses", "notes", stopwords("english")))
> SECfrequencies = DocumentTermMatrix(SECcorpus)
> SECallReports = as.data.frame(as.matrix(SECfrequencies))

因此，如果单词“wingspan”在语料库#2（'SECcorpus'）中的计数频率为 100，但在语料库#1（'corpus'）中的计数频率为 150，我们希望该词出现在我们的结果语料库/列表中。

4

2 回答 2

3

基于我与 Paul Nulty 开发的新文本分析包，我可以建议一种可能更直接的方法。它被称为 quanteda，可在 CRAN 和GitHub 上找到。

我无权访问您的文本，但是对于您的示例，这将以类似的方式起作用。您创建两组文档的语料库，然后添加一个文档变量（使用docvars），然后在新的文档分区变量上创建一个文档特征矩阵分组。其余的操作很简单，见下面的代码。请注意，默认情况下，dfm对象是稀疏矩阵，但尚未实现功能的子集（下一个版本！）。

install.packages(quanteda)
library(quanteda)

# built-in character vector of 57 inaugural addreses
str(inaugTexts)

# create a corpus, with a partition variable to represent
# the two sets of texts you want to compare
inaugCorp <- corpus(inaugTexts, 
                    docvars = data.frame(docset = c(rep(1, 29), rep(2, 28))),
                    notes = "Example made for stackoverflow")
# summarize the corpus
summary(inaugCorp, 5)

# toLower, removePunct are on by default
inaugDfm <- dfm(inaugCorp, 
                groups = "docset", # by docset instead of document
                ignoredFeatures = c("strengths", "weaknesses", "notes", stopwords("english"))),
                matrixType = "dense")

# now compare frequencies and trim based on ratio threshold
ratioThreshold <- 1.5
featureRatio <- inaugDfm[2, ] / inaugDfm[1, ]
# to select where set 2 feature frequency is 1.5x set 1 feature frequency
inaugDfmReduced <- inaugDfm[2, featureRatio >= ratioThreshold]

# plot the wordcloud
plot(inaugDfmReduced)

我建议您通过一些选项来wordcloud()（plot.dfm()使用什么），也许是为了限制要绘制的最小特征数量。

非常乐意帮助您解决有关使用该quanteda软件包的任何疑问。

新的

这是直接针对您的问题的刺。我没有您的文件，因此无法验证它是否有效。此外，如果您的 R 技能有限，您可能会发现这很难理解；如果您还没有查看quanteda.

我认为您需要（根据您的评论/查询）如下：

# read in each corpus separately, directly into quanteda
mycorpus1 <- corpus(textfile("UKDraftScouting.csv", textField = "Report"))
mycorpus2 <- corpus(textfile("SECMinusUKDraftScouting.csv", textField = "Report"))
# assign docset variables to each corpus as appropriate 
docvars(mycorpus1, "docset") <- 1 
docvars(mycorpus2, "docset") <- 2
myCombinedCorpus <- mycorpus1 + mycorpus2

然后继续上述dfm步骤，myCombinedCorpus替换inaugTexts.

于 2015-05-30T21:54:58.547 回答
0

我正在更新@ken Benoit 的答案，因为它已经有几年历史了，并且 quanteda 包在语法上经历了一些重大变化。

当前版本应该是（2017 年 4 月）：

str(inaugTexts)

# create a corpus, with a partition variable to represent
# the two sets of texts you want to compare
inaugCorp <- corpus(inaugTexts, 
                docvars = data.frame(docset = c(rep(1, 29), rep(2, 29))),
                notes = "Example made for stackoverflow")
# summarize the corpus
summary(inaugCorp, 5)


inaugDfm <- dfm(comment_corpus, 
            groups = "docset", # by docset instead of document
            remove = c("<p>", "http://", "www", stopwords("english")),
            remove_punct = TRUE,
            remove_numbers = TRUE,
            stem = TRUE)
于 2017-04-06T05:15:07.110 回答