问题标签 [parallel-foreach]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
127 浏览

r - 并行作业雪的最大工人/奴隶数量

我正在 Windows 机器上运行带有雪后端的 foreach 循环。我有 8 个内核可以使用。rscript 是通过嵌入在 python 脚本中的系统调用执行的,因此也会有一个活动的 python 实例。

没有 #workers=#cores 而不是 #workers<#cores 有什么好处,所以系统进程或 python 实例总是有一个开放的空间吗?

它在 #workers=#cores 的情况下成功运行,但我是否会因为 r worker 实例使内核(最大可能线程)饱和而降低性能?

0 投票
1 回答
167 浏览

r - 将 for 循环转换为 R 中的并行 foreach 循环

我尝试优化模拟脚本的某些部分并使其部分并行运行。所以我发现了这个foreach功能。作为一个例子,我尝试让以下并行运行

旧代码:

结果:(对于 A)

这应该将 m 的值放在 dataframes 的第 m 行A,B & C。在我的脚本中,m 是脚本应该运行的重复次数(Wiederholungen)。

Foreach 代码:

导致:

但这不会导致 dataframes 的上述结果A,B,C。我知道foreach有一个combine选项,但它似乎只有在你有一个矩阵的结果而不是我的例子中的几个矩阵的结果时才有效。如何使用并行处理方法获得与旧 for 循环相同的结果。我正在使用 Ubuntu 和 3.2.2。

0 投票
2 回答
923 浏览

r - 在 foreach 中指定包位置

我正在将软件包安装到特定目录,然后使用以下命令加载到库中:

然后,在使用 foreach 时,我无法弄清楚如何从该自定义位置“R_Libs”加载这个包。

任何想法如何强制从“R_Libs”目录中读取一个包?

0 投票
2 回答
1913 浏览

r - R中的并行计算:如何使用内核

我目前正在 R 中尝试并行计算。我正在尝试训练逻辑岭模型,并且我的计算机上目前有 4 个核心。我想将我的数据集平均分成 4 部分,并使用每个核心来训练模型(在训练数据上)并将每个核心的结果保存到单个向量中。问题是我不知道该怎么做,现在我尝试与 foreach 包并行,但问题是每个核心看到相同的训练数据。这是带有 foreach 包的代码(不拆分数据):

知道如何同时将数据拆分为 x 个块并并行训练模型吗?

0 投票
1 回答
454 浏览

r - R中的并行计算,实现引导

我目前正在尝试使用 BLB bootstrap 计算模型估计器,并且希望并行进行。当我不并行执行时,我的代码可以正常工作。当我并行计算时的问题是我从每个核心得到的结果都包含 NA 值。我不明白如何获得 NA 值,而 Iris 数据集的值根本不包含 NA。这是我正在使用的代码:

0 投票
1 回答
177 浏览

r - R: caret 在使用并行后端时不使用 PSOCKcluster 的主节点

我正在尝试使用并行后端在超参数网格上caret训练模型。xgboost

下面是一些代码,它使用Give Me Some Creditcaret数据来演示为的超参数网格搜索设置并行后端。

我检查了所有核心hosts都被用于训练,但在master节点上,没有使用任何进程。这是预期的行为吗?有什么方法可以改变这种行为并利用主节点上的核心进行处理?

0 投票
1 回答
208 浏览

r - R多核超高维单变量分析

我有一个由 1M 协变量组成的数据框,我想在其中使用 R 独立地在数据框的特定列上回归每一个协变量,但以多核方式。通过单变量分析,我的意思是二项式回归或 wilcoxon 检验。

我当前的代码是这个

或者

我想知道如何改进它以提高效率?

0 投票
0 回答
458 浏览

r - %do% 和 %dopar% 以及环境变量

我注意到使用%do%%dopar%涉及变量管理的不同行为。这是一个 MWE 来说明我的意思

在第一种情况下a递增,而在第二种情况下,循环获取副本并且a不会更改。我预计第二个行为%dopar%也适用于%do%. 有没有办法在不使用的情况下强制执行%dopar%(因为我在小插图中使用嵌套foreach循环)。foreach

0 投票
0 回答
927 浏览

r - 如何并行运行基本的 R 光栅操作?

我有这些示例栅格:

我希望能够使用多核来运行 R 和 Raster 基本功能,例如:

0 投票
0 回答
244 浏览

r - 在 Windows 操作系统中使用 doParallel-foreach 时出错

我正在尝试doParallel用于并行化我的查询。我正在尝试col_funcs在同一个脚本中使用该函数bsp_functions.R

它给出了以下错误:

看完这篇文章后.export,我通过将函数传递给全局环境来更改我的代码如下。

现在,它给出了以下错误。

任何帮助,将不胜感激。