1

有关于为 text2vec 包创建 DTM（文档术语矩阵）的文档，例如在构建矩阵后应用 TFIDF 加权的以下内容：

data("movie_review")
N <- 1000
it <- itoken(movie_review$review[1:N], preprocess_function = tolower,
tokenizer = word_tokenizer)
v <- create_vocabulary(it)
vectorizer <- vocab_vectorizer(v)
it <- itoken(movie_review$review[1:N], preprocess_function = tolower,
tokenizer = word_tokenizer)
dtm <- create_dtm(it, vectorizer)
# get tf-idf matrix from bag-of-words matrix
dtm_tfidf <- transformer_tfidf(dtm)

通常的做法是基于训练数据集创建 DTM，并将该数据集用作模型的输入。然后，当遇到新数据（测试集）时，需要在新数据上创建相同的 DTM（意味着在训练集中使用的所有相同术语）。包中是否有以这种方式转换新数据集的方法（在 scikit 中，我们有一个仅用于这种类型实例的转换方法）。

4

1 回答 1

4

实际上，当我开始时，我首先text2vec保留了该管道。现在我们正在准备带有更新文档的新版本。

对于 v0.3，以下应该可以工作：

data("movie_review")
train_rows = 1:1000
prepr = tolower
tok = word_tokenizer

it <- itoken(movie_review$review[train_rows], prepr, tok, ids = movie_review$id[train_rows])
v <- create_vocabulary(it) %>% 
  prune_vocabulary(term_count_min = 5)

vectorizer <- vocab_vectorizer(v)
it <- itoken(movie_review$review[train_rows], prepr, tok)
dtm_train <- create_dtm(it, vectorizer)
# get idf scaling from train data
idf = get_idf(dtm_train)
# create tf-idf
dtm_train_tfidf <- transform_tfidf(dtm_train, idf)

test_rows = 1001:2000
# create iterator
it <- itoken(movie_review$review[test_rows], prepr, tok, ids = movie_review$id[test_rows])
# create dtm using same vectorizer, but new iterator
dtm_test_tfidf <- create_dtm(it, vectorizer) %>% 
  # transform  tf-idf using idf from train data
  transform_tfidf(idf)
于 2016-08-28T11:44:40.140 回答