2

我有一个 DocumentTermMatrix，我想替换本文档中的特定术语并创建一个频率表。

起点是原始文件，如下：

library(tm)
library(qdap)

    df1 <- data.frame(word =c("test", "test", "teste", "hey", "heyyy", "hi"))
    tdm <- as.DocumentTermMatrix(as.character(df1$word))

当我创建原始文档的频率表时，我得到了正确的结果：

freq0 <- as.matrix(sort(colSums(as.matrix(tdm)), decreasing=TRUE))
freq0

到目前为止，一切都很好。但是，如果替换文档中的某些术语，则新的频率表会得到错误的结果：

    tdm$dimnames$Terms <- mgsub(c("teste", "heyyy"), c("test", "hey"), as.character(tdm$dimnames$Terms), fixed=T, trim=T)
    freq1 <- as.matrix(sort(colSums(as.matrix(tdm)), decreasing=TRUE))
    freq1

显然或者文档中的某些索引可能是错误的，因为即使是相同的术语在计算术语时也不会被视为相同。

这个结果应该是理想的情况：

df2 <- data.frame(word =c("test", "test", "test", "hey", "hey", "hi"))
tdm2 <- as.DocumentTermMatrix(as.character(df2$word))
tdm2$dimnames$Terms <- mgsub(c("teste", "heyyy"), c("test", "hey"), as.character(tdm2$dimnames$Terms), fixed=T, trim=T)
freq2 <- as.matrix(sort(colSums(as.matrix(tdm2)), decreasing=TRUE))
freq2

谁能帮我找出问题所在？

提前谢谢

4

1 回答 1

2

我们可以看一下结构as.matrix(tdm)

str(as.matrix(tdm))
#num [1, 1:5] 1 1 1 2 1
# - attr(*, "dimnames")=List of 2
#  ..$ Docs : chr "all"
# ..$ Terms: chr [1:5] "hey" "heyyy" "hi" "test" ...

这是一行5列的矩阵，所以colSums基本上什么都不做。

xtabs(as.vector(tdm)~tdm$dimnames$Terms)
#tdm$dimnames$Terms
#  hey heyyy    hi  test teste 
#   1     1     1     2     1

并在使用替换后mgsub

xtabs(as.vector(tdm)~tdm$dimnames$Terms)
#tdm$dimnames$Terms
# hey   hi test 
#  2    1    3

的。xtabs_ sum_ vector这也可以用tapply

 tapply(as.vector(tdm), tdm$dimnames$Terms, FUN = sum)

如果行数大于 1，我们可以使用colSums

 tapply(colSums(as.matrix(tdm)),  tdm$dimnames$Terms, FUN = sum)
 # hey   hi test 
 #  4    2    6

注意：上面的输出是在我们进行更改之后mgsub

于 2016-06-24T12:06:34.973 回答