0

我正在使用 RWeka 创建一个三元组和四元组模型。我注意到一个奇怪的行为对于三元组

TrigramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min = 3, max = 3))
tdm <- TermDocumentMatrix(docs, control = list(tokenize = TrigramTokenizer))

> dim(tdm)
[1] 1540099       3

> tdm
<<TermDocumentMatrix (terms: 1540099, documents: 3)>>
 Non-/sparse entries: 1548629/3071668
 Sparsity           : 66%
 Maximal term length: 180
Weighting          : term frequency (tf)

当我删除稀疏术语时，它会将上述约 100 万行缩小到 8307

 > b <- removeSparseTerms(tdm, 0.66) 
 > dim(b)
 [1] 8307    3

对于四边形删除根本不影响它

 quadgramTokenizer <- function(x) NGramTokenizer(x, Weka_control(min = 4, max = 4))
  tdm <- TermDocumentMatrix(docs, control = list(tokenize = QuadgramTokenizer))

 <<TermDocumentMatrix (terms: 1427403, documents: 3)>>
 Non-/sparse entries: 1427936/2854273
 Sparsity           : 67%
 Maximal term length: 185
 Weighting          : term frequency (tf)
> dim(tdm)
[1] 1427403       3
> tdm <- removeSparseTerms(tdm, 0.67)
> dim(tdm)
[1] 1427403       3

删除稀疏项后有 100 万个项目。

这看起来不对。

如果我做错了什么，请告诉我

问候 Ganesh

4

1 回答 1

0

这很奇怪。一个合乎逻辑的行为是删除稀疏项将在这两种情况下删除很多，因为三元组和四元组是不太常见的单元组情况。您的会话中是否还有其他 QuadgramTokenizer 对象？你的原始函数是用一个小的“q”quadgramTokenize 调用的。但我想知道为什么它没有显示错误，它可能认为它是空的？我想一定是这么简单的事情。检查一下，如果不是，我将使用数据样本运行它，看看这里可能出了什么问题。

于 2015-08-11T14:00:31.550 回答