0

我正在使用一种主题建模方法，该方法在我的 RStudio 计算机上运行良好，但它需要很长时间。所以我使用的是linux集群。但是，我似乎也要求很多容量，它并没有真正加快速度：

对不起，我是新手......所以这就是我在选美外壳中使用的：

salloc -N 240 --mem=61440 -t 06:00:00 -p med 
#!/bin/sh

#SBATCH --nodes=200
#SBATCH --time=06:00:00
#SBATCH --partition=med
#SBATCH --mem=102400
#SBATCH --job-name=TestJobUSERNAME
#SBATCH --mail-user=username@ddomain.com
#SBATCH --mail-type=ALL
#SBATCH --cpus-per-task=100

squeue –u username
cd /work/username/data
module load R
export OMP_NUM_THREADS=100
echo "sbatch: START SLURM_JOB_ID $SLURM_JOB_ID (SLURM_TASK_PID $SLURM_TASK_PID) on $SLURMD_NODENAME" 
echo "sbatch: SLURM_JOB_NODELIST $SLURM_JOB_NODELIST" 
echo "sbatch: SLURM_JOB_ACCOUNT $SLURM_JOB_ACCOUNT"

Rscript myscript.R

我很确定有某事。我的输入有误，因为：

  • 它并不是真的更快（但我的 R 代码当然也可能很慢 - 所以我尝试了具有不同计算类型的各种 R 代码）
  • 无论我使用的是 1 还是 200 个节点，相同 R 脚本的计算都需要几乎完全相同的时间（不过应该至少有 244 个节点）
  • 回显结果未提供完整信息，并且我没有收到电子邮件通知

所以这些是我的典型结果：

#just very small request to copy/paste the results, usually I request the one above
[username@gw02 ~]$ salloc -N 2 --mem=512 -t 00:10:00 -p short
salloc: Granted job allocation 1234567
salloc: Waiting for resource configuration
salloc: Nodes cstd01-[218-219] are ready for job
Disk quotas for user username (uid 12345):
                 --    disk space     --
Filesystem       limit  used avail  used
/home/user         32G  432M   32G    2%
/work/user          1T  219M 1024G    0%

[username@gw02 ~]$ squeue -u username 
      JOBID   PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)
      1234567     short     bash username  R       2:14      2 cstd01-[218-219]

#(directory, module load, etc.)

#missing outcomes for SLURM_TAST_PID and SLUMD_NODENAME: 
[username@gw02 data]$ echo "sbatch: START SLURM_JOB_ID $SLURM_JOB_ID (SLURM_TASK_PID $SLURM_TASK_PID) on $SLURMD_NODENAME"
sbatch: START SLURM_JOB_ID 1314914 (SLURM_TASK_PID ) on

有人可以帮忙吗？太感谢了！

编辑： 正如 Ralf Stubner 在他的评论中指出的那样，我不在 R 代码中进行并行化。我完全不知道该怎么做。这是一个示例计算：

# Create the data frame
col1 <- runif (12^5, 0, 2)
col2 <- rnorm (12^5, 0, 2)
col3 <- rpois (12^5, 3)
col4 <- rchisq (12^5, 2)
df <- data.frame (col1, col2, col3, col4)
# Original R code: Before vectorization and pre-allocation
system.time({
  for (i in 1:nrow(df)) { # for every row
    if ((df[i, "col1"] + df[i, "col2"] + df[i, "col3"] + df[i, "col4"]) > 4) { # check if > 4
      df[i, 5] <- "greater_than_4" # assign 5th column
    } else {
      df[i, 5] <- "lesser_than_4" # assign 5th column
    }
  }
})

...以及缩短的“真实代码”：

library(NLP)
library(tm)
library(SnowballC)
library(topicmodels)
library(lda)
library(textclean)

# load data and create corups
filenames <- list.files(getwd(),pattern='*.txt')
files <- lapply(filenames,readLines)
docs <- Corpus(VectorSource(files))

# clean data (shortened, just two examples) 
docs.adj <- tm_map(docs.adj, removeWords, stopwords('english'))
docs.adj <-tm_map(docs.adj,content_transformer(tolower))

# create document-term matrix
dtm <- DocumentTermMatrix(docs.adj)
dtm_stripped <- removeSparseTerms(dtm, 0.8)
rownames(dtm_stripped) <- filenames
freq <- colSums(as.matrix(dtm_stripped))
ord <- order(freq,decreasing=TRUE)

### find optimal number of k 
burnin <- 10000
iter <- 250
thin <- 50
seed <-list(3)
nstart <- 1
best <- TRUE
seq_start <- 2
seq_end <- length(files)
iteration <- floor(length(files)/5)

best.model <- lapply(seq(seq_start,seq_end, by=iteration), function(k){LDA(dtm_stripped, k, method = 'Gibbs',control=list(nstart=nstart, seed = seed, best=best, burnin = burnin, iter = iter, thin=thin))})
best.model.logLik <- as.data.frame(as.matrix(lapply(best.model, logLik)))
best.model.logLik.df <- data.frame(topics=c(seq(seq_start,seq_end, by=iteration)), LL=as.numeric(as.matrix(best.model.logLik)))
optimal_k <- best.model.logLik.df[which.max(best.model.logLik.df$LL),]
print(optimal_k)

### do topic modeling with more iterations on optimal_k
burnin <- 4000
iter <- 1000
thin <- 100
seed <-list(2003,5,63)
nstart <- 3
best <- TRUE
ldaOut <-LDA(dtm_stripped,optimal_k, method='Gibbs', control=list(nstart=nstart, seed = seed, best=best, burnin = burnin, iter = iter, thin=thin))
4

1 回答 1

0

快速浏览一下您的 R 脚本，它看起来像在：

best.model <- lapply(seq(seq_start,seq_end, by=iteration), function(k){
  LDA(dtm_stripped, k, method = 'Gibbs', control=list(nstart=nstart, seed = seed, best=best, burnin = burnin, iter = iter, thin=thin))
})

大部分处理时间发生在哪里。在这里，您可以尝试使用future_lapply()而不是并行化代码lapply()，即

best.model <- future_lapply(seq(seq_start,seq_end, by=iteration), function(k){
  LDA(dtm_stripped, k, method = 'Gibbs', control=list(nstart=nstart, seed = seed, best=best, burnin = burnin, iter = iter, thin=thin))
}, future.seed = TRUE)

我还添加future.seed = TRUE了以确保您在并行完成时随机数生成在统计上是合理的。该future_lapply()功能在future.apply包（*）所以你需要这样做：

library(future.apply)

在脚本的顶部。现在你需要做最后一件事——你需要告诉它并行运行（默认是顺序的），方法是添加：

plan(multiprocess)

也在顶部（在附加 future.apply 之后）。默认是使用“可用”的任何内核，其中“可用”意味着它对 HPC 调度程序（例如 Slurm）分配给您的工作的内核数量也很灵活。如果您在本地计算机上尝试上述操作，它将默认使用其拥有的内核数。也就是说，您也可以在本地机器上验证您的代码，您应该会看到一些加速。当您知道它可以工作时，您可以通过您的 Slurm 分配在集群上重新运行它，它应该可以开箱即用 - 但运行更多并行进程。

您可能会发现我在 2018 年 6 月 23 日发布的关于 future.apply 的博文很有用——最后有一些常见问题解答。

(*) 免责声明：我是 future.apply 的作者。

于 2018-06-24T14:08:52.750 回答