1

我有一个大数据集（> 100 万行），每一行都是一个多句子文本。例如以下是 2 行的示例：

mydat <- data.frame(text=c('I like apple. Me too','One two. Thank you'),stringsAsFactors = F)

我试图做的是提取每行中的二元词项（“。”将能够分隔 ngram 项）。如果我只是使用 dfm 函数：

mydfm  = dfm(mydat$text,toLower = T,removePunct = F,ngrams=2)
dtm = as.DocumentTermMatrix(mydfm)
txt_data = as.data.frame(as.matrix(dtm))

这些是我得到的条款：

"i_like"     "like_apple" "apple_."    "._me"       "me_too"     "one_two"    "two_."      "._thank"    "thank_you"

这些是我所期望的，基本上是“。” 被跳过并用于分隔术语：

"i_like"     "like_apple"  "me_too"     "one_two"    "thank_you"

相信编写慢循环也可以解决这个问题，但鉴于它是一个巨大的数据集，我更喜欢类似于 quanteda 中的 dfm() 的有效方法来解决这个问题。任何建议，将不胜感激！

4

2 回答 2

2

@Jota 的答案有效，但有一种方法可以更精细地控制标记化，同时只调用一次：

(toks <- tokenize(toLower(mydat$text), removePunct = 2, ngrams = 2))
## tokenizedText object from 2 documents.
## Component 1 :
## [1] "i_like"     "like_apple" "apple_me"   "me_too"    
## 
## Component 2 :
## [1] "one_two"   "two_thank" "thank_you"

dfm(toks)
## Document-feature matrix of: 2 documents, 7 features.
## 2 x 7 sparse Matrix of class "dfmSparse"
##        features
## docs    i_like like_apple apple_me me_too one_two two_thank thank_you
##   text1      1          1        1      1       0         0         0
##   text2      0          0        0      0       1         1         1

添加：

然后要删除任何带有.标点符号的 ngram，您可以使用：以下，默认为valuetype = "glob"：

removeFeatures(toks2, "*.*")
## tokenizedText object from 2 documents.
## Component 1 :
## [1] "i_like"     "like_apple" "me_too"    
## 
## Component 2 :
## [1] "one_two"   "thank_you"
于 2016-07-31T14:51:03.700 回答
1

如果您的目标只是提取这些二元组，那么您可以使用tokens两次。一次对句子进行标记，然后再次为每个句子制作 ngram。

library("quanteda")
mydat$text %>% 
    tokens(mydat$text, what = "sentence") %>% 
    as.character() %>%
    tokens(ngrams = 2, remove_punct = TRUE) %>%
    as.character()
#[1] "I_like"     "like_apple" "Me_too"     "One_two"    "Thank_you"

tokens_tolower()如果您愿意，可以在第一次tokens()通话后插入 a ，或char_tolower()在最后使用。

于 2016-07-31T03:07:08.870 回答