0

为了在处理非常大的语料库样本时节省内存空间，我希望只取前 10 个 1 克并将它们与所有 2 到 5 克结合起来形成我的单个 quanteda::dfmSparse 对象，该对象将用于自然语言处理[nlp] 预测。携带所有 1 克将毫无意义，因为只有前十 [或二十] 将与我正在使用的简单后退模型一起使用。

我找不到一个 quanteda::dfm(corpusText, . . .) 参数来指示它只返回顶部 ## 功能。因此，根据包作者@KenB 在其他线程中的评论，我正在使用 dfm_select/remove 函数来提取前十个 1 克，并基于“quanteda dfm join”搜索结果命中“在 'quanteda' 包中连接 dfm 矩阵”我'正在使用 rbind.dfmSparse??? 函数加入这些结果。

到目前为止，据我所知，一切看起来都是正确的。以为我会从 SO 社区中退出这个游戏计划，看看我是否忽略了一条更有效的途径来达到这个结果，或者我迄今为止所达到的解决方案存在一些缺陷。

corpusObject <- quanteda::corpus(paste("some corpus text of no consequence that in practice is going to be very large\n",
    "and so one might expect a very large number of ngrams but for nlp purposes only care about top ten\n",
    "adding some corpus text word repeats to ensure 1gram top ten selection approaches are working\n"))
corpusObject$documents
dfm1gramsSorted <- dfm_sort(dfm(corpusObject, tolower = T, stem = F, ngrams = 1))
dfm2to5grams <- quanteda::dfm(corpusObject, tolower = T, stem = F, ngrams = 2:5)
dfm1gramsSorted; dfm2to5grams 
#featnames(dfm1gramsSorted); featnames(dfm2to5grams)
#colSums(dfm1gramsSorted); colSums(dfm2to5grams)

dfm1gramsSortedLen <- length(featnames(dfm1gramsSorted))
# option1 - select top 10 features from dfm1gramsSorted
dfmTopTen1grams <- dfm_select(dfm1gramsSorted, pattern = featnames(dfm1gramsSorted)[1:10]) 
dfmTopTen1grams; featnames(dfmTopTen1grams)
# option2 - drop all but top 10 features from dfm1gramsSorted
dfmTopTen1grams <- dfm_remove(dfm1gramsSorted, pattern = featnames(dfm1gramsSorted)[11:dfm1gramsSortedLen]) 
dfmTopTen1grams; featnames(dfmTopTen1grams)

dfmTopTen1gramsAndAll2to5grams <- rbind(dfmTopTen1grams, dfm2to5grams)
dfmTopTen1gramsAndAll2to5grams;
#featnames(dfmTopTen1gramsAndAll2to5grams); colSums(dfmTopTen1gramsAndAll2to5grams)
data.table(ngram = featnames(dfmTopTen1gramsAndAll2to5grams)[1:50], frequency = colSums(dfmTopTen1gramsAndAll2to5grams)[1:50],
keep.rownames = F, stringsAsFactors = F)

/eoq

4

1 回答 1

1

为了提取前 10 个 unigram，这个策略可以正常工作：

  1. 按您已经完成的（默认）整体特征频率的降序对 dfm 进行排序，然后添加一个步骤 tp 切出前 10 列。

  2. cbind()使用(not rbind()))将其与 2 到 5 克 dfm 结合起来。

那应该这样做：

dfmCombined <- cbind(dfm1gramsSorted[, 1:10], dfm2to5grams)
head(dfmCombined, nfeat = 15)
# Document-feature matrix of: 1 document, 195 features (0% sparse).
# (showing first document and first 15 features)
#        features
# docs    some corpus text of to very large top ten no some_corpus corpus_text text_of of_no no_consequence
#   text1    2      2    2  2  2    2     2   2   2  1           2           2       1     1              1

您的示例代码包括对 data.table 的一些使用，尽管这没有出现在问题中。在 v0.99 中，我们添加了一个新函数，该函数在 data.frametextstat_frequency()中生成“长”/“整洁”格式的频率，这可能会有所帮助：

head(textstat_frequency(dfmCombined), 10)
#        feature frequency rank docfreq
# 1         some         2    1       1
# 2       corpus         2    2       1
# 3         text         2    3       1
# 4           of         2    4       1
# 5           to         2    5       1
# 6         very         2    6       1
# 7        large         2    7       1
# 8          top         2    8       1
# 9          ten         2    9       1
# 10 some_corpus         2   10       1
于 2017-08-13T09:14:20.710 回答