1

我正在处理大小约为 1 Gb 的文件。处理可以分为两个步骤,一个取决于大文件,第二个取决于较小的数据量。我可以为 doParallel 后端排队一些 foreach 命令,同时用 doRedis 后端排队其他 foreach 命令吗?

foreach() %dopar:doParallel% {
    foreach() %dopar:doRedis% {}
}

这里的目标是由于内存和网络 IO 限制而使远程作业保持较小,同时还利用我拥有的几个本地内核进行预处理/后处理。

4

0 回答 0