0

最近我正在学习使用 mlr3 包进行并行化。作为 mlr3 书籍 ( https://mlr3book.mlr-org.com/technical.html ) 和教程 ( https://www.youtube.com/watch?v=T43hO2o_nZw&t=1s ) 的介绍，mlr3 使用未来的后端用于并行化。我使用以下代码运行了一个简单的测试：

# load the packages
library(future)
library(future.apply)
library(mlr3)

# set the task
task_train <- TaskClassif$new(id = "survey_train", backend = train, target = "r_yn", positive = "yes")

# set the learner
learner_ranger <- mlr_learners$get("classif.ranger")

# set the cv
cv_5 <- rsmp("cv", folds = 5)

# run the resampling in parallelization
plan(multisession, workers = 5)
task_train_cv_5_par <- resample(task = task_train, learner = learner_ranger, resampling = cv_5)
plan(sequential)
task_train_cv_5_par$aggregate(msr("classif.auc"))

AUC 每次都会改变，我知道这是因为我没有为并行化设置随机种子。但是我发现了很多关于未来包的教程，使用 future 获得可重现结果的方法是使用future.apply包中的 future_lapply 并设置 future.seed = TRUE。另一种方法是使用 %dorng% 或 registerDoRNG() 为 foreach 循环设置未来的后端。

我的问题是如何在不使用 future_lapply 或 foreach的情况下在 mlr3 中获得可重现的重采样结果？我想可能有一种简单的方法可以做到这一点。非常感谢！

4

2 回答 2

4

我已将您的示例更改为可重现，以表明您只需要设置种子set.seed()：

library(mlr3)
library(mlr3learners)

task_train <- tsk("sonar")
learner_ranger <- lrn("classif.ranger", predict_type = "prob")
cv_5 <- rsmp("cv", folds = 5)
plan(multisession, workers = 5)

# 1st resampling
set.seed(1)
task_train_cv_5_par <- resample(task = task_train, learner = learner_ranger, resampling = cv_5)
task_train_cv_5_par$aggregate(msr("classif.auc"))

# 2nd resampling
set.seed(1)
task_train_cv_5_par <- resample(task = task_train, learner = learner_ranger, resampling = cv_5)
task_train_cv_5_par$aggregate(msr("classif.auc"))

# 3rd resampling, now sequential
plan(sequential)
set.seed(1)
task_train_cv_5_par <- resample(task = task_train, learner = learner_ranger, resampling = cv_5)
task_train_cv_5_par$aggregate(msr("classif.auc"))

您应该为所有三个重采样获得相同的分数。

于 2021-02-17T09:18:43.257 回答
2

您需要使用支持并行化的 RNG 类型设置种子。

set.seed(42, "L'Ecuyer-CMRG")

有关?RNGkind更多信息，请参阅。

AFAIK 用于 R 中的确定性并行结果，除了使用这种 RNG 类型之外别无他法。顺序运行时，您可以只使用默认的 RNG 类型和set.seed(42).

我的问题是如何在不使用 future_lapply 或 foreach 的情况下在 mlr3 中获得可重现的重采样结果？

{mlr3} 使用 {future} 进行所有类型的内部并行化，因此无法绕过 {future}。所以是的，设置future.seed = TRUE，你应该没问题。

于 2021-02-17T06:56:54.233 回答