3

我目前正在处理一个文本挖掘文档，我想从我的文本中提取相关关键字（请注意，我有很多很多文本文档）。

我正在使用 udpipe 包。一个很棒的 Vignette 在线 ( http://bnosac.be/index.php/blog/77-an-overview-of-keyword-extraction-techniques )。一切正常，但是当我运行代码时，部分

x <- udpipe_annotate(ud_model, x = comments$feedback)

真的，真的很慢（尤其是当你有很多文本时）。有谁知道我如何更快地获得这部分？解决方法当然很好。

library(udpipe)
library(textrank)
## First step: Take the Spanish udpipe model and annotate the text. Note: this takes about 3 minutes

data(brussels_reviews)
comments <- subset(brussels_reviews, language %in% "es")
ud_model <- udpipe_download_model(language = "spanish")
ud_model <- udpipe_load_model(ud_model$file_model)
x <- udpipe_annotate(ud_model, x = comments$feedback) # This part is really, really slow 
x <- as.data.frame(x)

提前谢谢了！

4

3 回答 3

4

我正在添加一个基于未来 API 的答案。这与您使用的操作系统（Windows、mac 或 linux 风格）无关。

future.apply 包具有基本 *apply 系列的所有并行替代方案。其余代码基于@jwijffels 的答案。唯一的区别是我在 annotate_splits 函数中使用 data.table 。

library(udpipe)
library(data.table)

data(brussels_reviews)
comments <- subset(brussels_reviews, language %in% "es")
ud_model <- udpipe_download_model(language = "spanish", overwrite = F)
ud_es <- udpipe_load_model(ud_model)


# returns a data.table
annotate_splits <- function(x, file) {
  ud_model <- udpipe_load_model(file)
  x <- as.data.table(udpipe_annotate(ud_model, 
                                     x = x$feedback,
                                     doc_id = x$id))
  return(x)
}


# load parallel library future.apply
library(future.apply)

# Define cores to be used
ncores <- 3L
plan(multiprocess, workers = ncores)

# split comments based on available cores
corpus_splitted <- split(comments, seq(1, nrow(comments), by = 100))

annotation <- future_lapply(corpus_splitted, annotate_splits, file = ud_model$file_model)
annotation <- rbindlist(annotation)
于 2018-11-28T17:56:26.433 回答
2

R 包 udpipe 使用 UDPipe 1.2 版 C++ 库。论文中详细介绍了注释速度（参见https://doi.org/10.18653/v1/K17-3009中的表 8 ）。如果您想加快速度，请并行运行它，因为注释是可并行化的。

下面的示例使用 parallel::mclapply 跨 16 个内核并行化，如果您当然有 16 个内核，那么大型语料库的速度将提高 16 倍。您可以使用您拥有的任何并行化框架，下面我使用了并行包 - 如果您在 Windows 上，您将需要例如 parallel::parLapply 但没有什么能阻止您使用其他并行选项（snow / multicore / future / foreach /... ) 以并行注释。

library(udpipe)
library(data.table)
library(parallel)
data(brussels_reviews)
comments <- subset(brussels_reviews, language %in% "fr")
ud_model <- udpipe_download_model(language = "french-partut")

annotate_splits <- function(x, file) {
  model <- udpipe_load_model(file)
  x <- udpipe_annotate(model, x = x$feedback, doc_id = x$id, tagger = "default", parser = "default")
  as.data.frame(x, detailed = TRUE)
}

corpus_splitted <- split(comments, seq(1, nrow(comments), by = 100))
annotation <- mclapply(corpus_splitted, FUN = function(x, file){
  annotate_splits(x, file) 
}, file = ud_model$file_model, mc.cores = 16)
annotation <- rbindlist(annotation)

请注意，udpipe_load_model 也需要一些时间，因此可能一个更好的策略是在机器上的内核数量上并行化它，而不是像我上面显示的那样以 100 个块并行化。

于 2018-11-28T08:27:26.577 回答
0

您还可以使用furrr和future库来完成此操作，它们具有进度条的额外好处。

在另外两个答案中，我感到困惑的一件事是它们udpipe_load_model在其功能中的实现。您可以先在函数外部加载模型一次，这样函数就不必在每次运行时加载模型。

library(udpipe)
library(future)
library(furrr)
data(brussels_reviews)

comments <- subset(brussels_reviews, language %in% "es")
downloaded_model <- udpipe_download_model(language = "spanish", overwrite = FALSE)
model <- udpipe_load_model(downloaded_model)

annotate_splits <- function(text) {
  anno <- udpipe_annotate(model, x = text$feedback, doc_id = text$id, tagger = "default", parser = "default")
  x <- as.data.frame(anno, detailed = TRUE)
  return(x)
}

split_corpus <- split(comments, seq(1, nrow(comments), by = 100))

#recommend setting workers equal to number of your computer's cores
plan(multisession, workers = 2) 
dfs <- future_map(split_corpus, annotate_splits, .progress = TRUE)

annotated_df <- dplyr::bind_rows(dfs)
于 2021-11-11T15:11:43.803 回答