问题标签 [doparallel]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1021 浏览

r - R doParallel foreach 工作者超时错误并且永远不会返回

以下问题是与此处描述的问题相关的非常详细的问题。上一个问题

使用 R 版本 3.2.3 在 c4.8xlarge(36 核)上启动的 Ubuntu Server 14.04 LTS 64 位 Amazon 系统映像。

考虑以下代码

请注意,这两个超时异常都有效。我们注意到个别进程超时,如果有必要,累积进程超时。

但是,我们发现单个进程可以启动,并且由于未知原因在 300 秒后不会超时。请注意,单个进程超时确保该进程不是“只需要很长时间”。结果,核心被这个单一进程占用并以 100% 的速度运行,直到达到 3600 秒的累积超时。请注意,进程及其核心将被无限期占用,如果累积超时未到位,则 foreach 循环将无限期继续。达到累积时间后,将返回“Timeout 2 Fail”并继续执行脚本。

问题:如果单个工作进程“挂起”以致连单个超时机制都不起作用,如何重新启动工作进程以便它可以继续在并行处理中使用?如果无法重新启动worker,是否可以在达到累积超时时以外的方式停止worker?这样做将确保该进程不会在仅运行单个“错误”进程时继续长时间“等待”达到累积超时。

附加信息 一名“逃跑”流程或“挂起”工人被抓获。使用 htop 查看进程,它的状态为 100% CPU 运行。以下链接是该进程的 gdb backtrace 调用的屏幕截图

回溯截图

问题:是否在回溯中确定了“失控”进程的原因?

0 投票
1 回答
210 浏览

r - 在R中并行计算后将数据写回数据帧

我是 R 中并行计算的新手。我已经浏览了 StackOverFlow 上的各种链接以了解该主题并编写了初始代码

我的目标是对每一行进行重复计算,我的函数看起来像

为此,我编写了一个 foreach 循环

但是,问题是“func2”应该写回数据帧但它没有写回任何东西,所有条目都与旧条目相同

感谢您的帮助。

0 投票
1 回答
173 浏览

r - R:与 foreach 并行化

我是 R 新手。我编写了这个非常简单的脚本来突出我的问题。如果我运行这个常规 for 循环测试数据会在每次迭代时按照我想要的方式更新。

然而,这个使用 foreach 的并行版本完成了计算,但它们没有在 testdata 中更新。

我试图在互联网上和其他地方关注示例,但大多数示例在 R shoptalk 中太深了,我无法理解。我怎样才能让这个并行版本做非并行版本做的事情。谢谢。

0 投票
0 回答
415 浏览

r - R 中的嵌套并行进程 - 在 Foreach 循环中使用 ParSapply

我正在使用 doParallel 包并想parSapply ()在 a中使用,Foreach loop但我不确定如何在另一个并行循环中使用并行函数。

我有这个错误:

0 投票
2 回答
1174 浏览

r - doParallel 包中的 foreach

我有这段代码,用于在 for 循环环境中使用函数“cop.theta”从一些计算中创建矩阵

我使用 doParallel 包中的“foreach”编写了一个 R 代码,以获得类似于上面代码生成的结果。我的代码如下

但我收到了这个错误

我哪里错了?

0 投票
1 回答
2686 浏览

r - R foreach 找不到函数“%dopar%”

当我使用doParallel库时,我遇到了这个奇怪的错误,系统抛出这个

" Error in { : task 1 failed -could not find function "%dopar%"

具体来说,这就是我所做的

到目前为止,一切都很好,我创建了两个函数ntwlambda使用foreach. 他们工作得很好。

然后我也使用以下方法创建第三个函数foreach

类型jl(guess)

任何想法出了什么问题?

0 投票
1 回答
868 浏览

mysql - 使用 R doParallel 或 foreach 从 mysql 并行获取数据

我正在尝试使用 R 从 MySQL 数据库中并行获取数据。以下代码一一获取数据并且工作正常。但我想通过发送多个查询并将其保存到不同的变量中来加速这个过程。稍后我将合并变量内的时间序列。

我尝试使用以下代码并行获取数据:

有时代码只为第一个仪器获取数据,而不是为其余的仪器获取数据。

如果有人知道解决方案,请提供帮助。

谢谢,

0 投票
1 回答
58 浏览

r - R中并行计算上对角线

我使用以下代码:

我得到以下结果:

我想得到如下的上对角矩阵:

如果我将内部循环的迭代器更改为

我没有得到所需的结果。

0 投票
0 回答
71 浏览

r - J48并联运行

我收到以下错误:

我想创建并行模型(J48)。这样将为每个子数据集建立一个模型。例如,对于iris_dataset[[1]]J48 将是j48_c.models[[1]]... 而对于iris_dataset[[18]]J48 将是j48_c.models[[18]].

您可以通过以下方式单独运行模型:

0 投票
0 回答
44 浏览

r - 嵌套循环并行过程的时间估计

我有以下代码:

time.taken保存从过程开始到结束的时间。我想知道在这种情况下(as.numeric (i+j))每次添加需要多少时间。这意味着我想要二维数组time.taken[i,j]。所以这time.taken[1,1]将包括第一次迭代到最后一次迭代的时间time.taken[N,N]。有可能做到吗?