问题标签 [doparallel]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
305 浏览

r - 具有串行和并行后端的 foreach 给出不同的结果

我有一个奇怪的情况,使用foreach串行和并行后端在我第一次调用时会给出不同的结果,但后来两个结果都匹配。我曾经RNG使结果可重复seed

下面是一个解释场景的示例函数:

注册顺序过程时我错过了什么吗?

0 投票
1 回答
708 浏览

r - foreach、doParallel 和随机生成

考虑使用并行foreach生成随机值的非常基本(且效率低下)的代码:

它是正确的还是需要任何额外的步骤才能使随机生成正常工作?我想这已经足够了,快速检查似乎“证明”种子可以正常工作,但我想确保它在其他平台上也是如此,因为我希望代码是可移植的。

0 投票
0 回答
244 浏览

r - foreach 循环中的重复迭代

我将with中的foreach(i = 2:366)函数用作我的后端。过去我没有遇到任何问题,但现在我尝试并行运行 365次复杂迭代,其中一些正在重复。作为结果的输出,我期待一个长度为 365 的数组,但我得到一个长度为 384 的数组。我的循环也作为数组的一部分打印,但我偶尔会得到重复(i = 1、2、3、4、4、 5、6)。任何洞察为什么会发生这种情况?谢谢!RdoParallel()foreach()rbindsi

0 投票
1 回答
126 浏览

r - doParallel 似乎因未知原因损坏了输出

我正在尝试以并行格式运行以下代码(用于 EWAS 目的):

我遇到的问题是,当我在第二行中使用 %do% 时,程序完美执行并且“组合”包含正确的输出。

但是,当我使用 %dopar% 时(如上面的代码所示),中间的四列组合消失了。我想这是因为这四列是基于 tryCatch 分配的?我已经坚持了几天,真的需要取得进展。

当我以 %do% 运行程序时,我收到警告也毫无价值

if (!is.na(lme2)) out18[i - 27, 2:5] <- summary(lme2)$tTable[2, 中的警告:条件的长度 > 1 并且仅使用第一个元素

对于每次迭代,但是在 %dopar% 下运行时我根本没有得到这个。

抱歉,如果我没有就变量是什么提供足够的信息,我试图尽可能少地披露出于道德原因正在处理的实际信息。

0 投票
1 回答
1196 浏览

r - 如何在并行循环中忽略 R tryCatch 中的警告

我正在 R 中构建一个 Arima 模型。我正在尝试使用 tryCatch 来处理模型训练中的异常——特别是在我没有足够数据来构建模型的情况下。由于我训练了很多模型(大约 380 个),我尝试使用 R 中的 doParallel 包来实现这个。但我注意到有些警告我只需要忽略。下面给出的是我尝试过的。但我可以看到一些线程只是卡住了。我只是想知道警告处理代码是否将线程置于无限循环中,因为我尝试在警告中调用相同的表达式。

请注意,首先我只尝试了 4 次循环迭代,第一次运行得非常快,但其他 3 次迭代一直在运行。

0 投票
1 回答
175 浏览

r - R doRNG 找不到变量

dopar我在注册时遇到了在函数内部运行的问题doRNG,我需要访问在函数内部创建的变量。

我在这里的总体目标是用来doRNG确保我的并行进程获得不同的随机数流,所以如果有更好的方法来做到这一点,这也将解决我的问题。

其次,我对使用doRNG失败的原因感兴趣,因为我试图了解环境如何导出到并行进程。

这里的代码看起来有点做作,但这是对更大更复杂的代码的总结。

请注意,如果我注释掉这些doRNG行,代码运行良好。也从%dopar%to更改为%do%(并保留doRNG未注释的行)作品。

我得到以下信息:

0 投票
2 回答
1647 浏览

r - 使用 doparallel 在 foreach 循环内循环

我有一个包含循环的函数

rs 是一个数字向量,z1.d 是一个动物园,y 也是一个数字向量。

当我尝试在并行循环中运行该函数时:

我收到以下错误:

我不知道为什么,但我意识到如果我将循环从我的函数中取出,它不会给出错误。

此外,如果我使用 %do% 而不是 %dopar% 运行完全相同的代码(所以不是并行运行),它工作正常(缓慢但没有错误)。

编辑:这里要求的是参数示例:

r 在 foreach 循环中定义

0 投票
1 回答
565 浏览

r - 使用Parallel加速R中的stringdist

我有一个包含 300 个句子的向量,我正在尝试使用该stringdist包查找元素 JW 距离。天真的实现的执行时间太长,导致我寻找减少运行时间的方法。我正在尝试利用doParallelandforeach包,但我没有得到任何显着的加速。这就是我要做的事情。

如果有人能指出我可以加速这段代码的方法,我将不胜感激。

0 投票
1 回答
390 浏览

r - R:使用 doParallel 和 foreach 进行并行化

我在 R 中做了以下顺序迷你示例:

我想让这段代码在 Windows 上并行。我想到了doParallel包和foreach循环,因为我没有找到支持并行while循环的包。现在我已经尝试过了:

但打印输出不打印任何内容,大约 2 分钟后循环不会终止。但是顺序示例在几秒钟后成立。我觉得有些不对劲。
另一个问题是:是否可以在 foreach 循环中重新定义计数器编号?在上面的 while 循环中,我可以任意设置计数器“current_number”。但我认为在 R 中,for 循环不允许重新定义计数器编号,对吧?是否有更好的包或替代循环来并行化第一个示例?

最好的问候,布雷恩

0 投票
1 回答
713 浏览

r - 在多个主机上运行并行 R

您能否提供一个脚本以在 Ubuntu Linux 机器上从头开始在 2 个主机(亚马逊 ec2)上运行并行集群?

规格

  1. 主机通过名为 amazon_key.pem 的身份密钥从本地计算机连接
  2. 主机名应该通过亚马逊云提供的内部 IP 地址连接
  3. 在设置云时将主机名保留为 rserver1 和 rserver2