有没有办法配置furrr::future_map
允许嵌套用例?考虑以下代码:
library(furrr)
library(tictoc)
# The problem is easier to reason about if you take N
# smaller than your number of cores, and M big.
N = 2
M = 100
plan(sequential)
tic()
x = future_map(1:N, function(i){
furrr::future_map(1:M,function(j){
Sys.sleep(1/M)
return(1)
})
})
toc() # 2sec + overhead
plan(multiprocess)
tic()
x = future_map(1:N, function(i){
furrr::future_map(1:M,function(j){
Sys.sleep(1/M)
return(1)
})
})
toc() # one sec + overhead !!
第一个应该花费 2 秒多一点。还行吧。但是,即使在千核机器上,有没有办法让第二个机器花费不到 1 秒?
我的用例如下:一些子任务比其他子任务需要更长的时间才能完成,当一些子任务完成后,一些内核可以自由地进一步调度更长的任务。
但是 furrr 默认情况下不这样做,并且 lnger 运行的任务最终只在一个内核上。该问题等同于上面代码中显示的问题:如果某些内核空闲,有没有办法让 furrr 重新调度内部任务?
这是不可能的,还是我错过了 furrr/future 调用的参数?