问题标签 [pmap]

有没有一种舒适的方法可以在 Julia 中以某种方式获取 map/pmap 的“状态”？

如果我有一个数组 a = [1:10] 我想：

1：枚举数组并使用if-conditional添加打印命令

并且“.......”在哪里，有一种方法可以将匿名函数“链接”到类似的东西

2：知道是否已经有一个现有的选项，因为 pmap 用于并行任务，这些任务通常用于大型进程，所以它是否已经存在？

此外，有没有办法让匿名函数一个接一个地做两个“独立”的事情？

例子

如果我有

我执行

REPL 会打印出状态

解决方案

Chris Rackauckas 回答

ProgressMeter 包默认不包含这个有点奇怪

github上的PmapProgressMeter

我已经在 J​​ulia 工作了几个月，我对并行编写一些代码很感兴趣。我正在解决一个问题，我使用 1 个模型为几个不同的接收器生成数据（每个接收器的数据是一个向量）。每个接收器的数据可以独立计算，这让我相信我应该能够使用 pmap 函数。我的计划是将数据初始化为 2D SharedArray（每列代表 1 个接收器的数据），然后在每一列上进行 pmap 循环。但是我发现将 SharedArray 与 pmap 一起使用并不比使用 map 串行工作快。我编写了以下虚拟代码来说明这一点。

我开始 Julia 会话Julia -p 3并运行脚本。3次测试的时间分别为1.4s、4.7s和1.6s。与使用 map 的常规数组（1.4 秒）相比，使用带有 pmap（1.6 秒运行时间）的 SharedArrays 并没有提供任何速度改进。我也很困惑为什么第二种情况（数据作为 SharedArray，所有其他输入作为带有 pmap 的常规数组）如此缓慢。为了从并行工作中受益，我需要进行哪些更改？

我有一个在 Docker 容器内的 Java 8 上运行的 Java 应用程序。该过程启动了一个 Jetty 9 服务器，并且正在部署一个 Web 应用程序。传递了以下 JVM 选项：-Xms768m -Xmx768m.

最近我注意到该进程消耗大量内存：

如您所见，RSS (2,8GB) 与 VM 本机内存统计实际显示的内容（提交 1.0GB，保留 1.3GB）之间存在巨大差异。

为什么会有如此巨大的差异？我知道 RSS 还显示了共享库的内存分配，但在分析pmap详细输出后，我意识到这不是共享库的问题，而是被称为 [anon] 结构的某些东西消耗了内存。为什么JVM分配了这么多匿名内存块？

我正在搜索并发现以下主题： 为什么 JVM 报告的已提交内存比 linux 进程驻留集大小更多？ 但是，这里描述的情况有所不同，因为 RSS 显示的内存使用量少于 JVM 统计信息。我有相反的情况，无法弄清楚原因。

In Julia Lang, the documentation states you can set the number of worker processes using batch_size:

But I can't seem to find a working example of how to pass the parameters.

I tried: pmap(f,x;true,10) and pmap(f,x;distributed=true,batch_size=10) abut both methods didn't work. Does anyone know the correct way to pass the argument for batch_size?

这是我要解决的一个大问题。如果我有足够的声誉来奖励赏金，我会的！

希望平衡销售代表的帐户区域。我的流程被打破了，我真的不知道如何在每个地区进行。

在此示例中，有 1000 个帐户，跨 4 个区域，每个区域有 2 个子联盟，然后是帐户的不同所有者——有些帐户是无主的。每个帐户都有一个介于 1,000 和 100,000 之间的随机值。

可重现的例子：

账户列表：

区域所有权摘要：

按地区、联赛汇总：

这就是所有的起始数据，我想对 Summary2 表的每个分组进行以下处理。

西部未成年人示例：

西部未成年人账户总数：120

更新所有者后，我们将各个部分重新绑定在一起，以拥有 WestMinors 帐户库，所有这些都具有更新的所有者，希望是平衡的。

没有人拥有超过 14 个帐户或 600,000 个帐户，因此我们可以开始重新分配无主帐户以尝试平衡每个人。下面的 for 循环查看 OwnerSummary 中的每个名称，找出分配给他们的 $$ 最小的人并分配最有价值的帐户，然后遍历每个帐户，尝试平衡每个所有者的份额。

现在我们只需将之前拥有的和新分配的绑定在一起，我们就完成了平衡的 West Minors 领土。

每个人的账户数量都差不多，总的 $$ 领土都在合理范围内。

现在，我正在尝试对原始 4 个地区、2 个联赛的每个分组进行此操作。所以这样做8次，然后把它们缝合在一起。每个子组都有不同的 $$ 价值阈值，以及帐户数量。如何将原始帐户基础拆分为 8 个部分，应用所有这些，然后将其重新组合在一起？

每当我将 purrr 库函数pmap()与包含具有多个条件的 if 语句的函数一起使用时，if 语句似乎无法正常工作。为了向您展示我的意思，这是一个使用 gapminder 数据集的可重现示例。

现在我想为每个分组数据框建立一个线性回归模型。问题是我想根据国家和大陆在我的模型中使用不同的 x 变量。这是我的函数，我怀疑 if 语句有问题：

现在我将采用该功能并将其应用于所有分组的数据帧。我期望模型汇总输出将显示阿富汗数据集的模型将有一个系数year而不是pop.

我的输出显示阿富汗的系数是pop，不是year。

对我来说奇怪的是，当我在函数 if 语句中只使用 1 个条件时，它似乎工作得很好：

我不确定我的问题是与pmap()我的 if 语句有关。

JDK version is hotspot 8u_45

I researched native memory of my java process. The native memory even consumes more space than heap. However there are many native memory blocks which confuses me. The result of pmap -x for example:

There are many blocks which occupy about 64M.

I use jcmd pid VM.native_memory detail to track these memory blocks. However, I cannot found these blocks with any of the memory ranges listed in the result of jcmd.

Furthermore, I noticed an article which mentions arena effect in malloc of glic Java 8 and Virtual Memory on Linux. However These blocks seem different from thread pool because 1. The mode is rw--- not ----- 2. The arena thread pool only affects virtual memory. It cannot explain these too much RSS.

I use gdb to track the allocated memory

mem.bin.1

mem.bin.2

mem.bin.3

mem.bin.4

There are about 30 blocks like those shown in the picture.

After some days, I use Google perf tools to track heap allocations. And found this:

It shows that: zip inflates consume nearly 2G memory. I guess it may concern with some compilation issue.

I have read this issue：<a href="https://bugs.openjdk.java.net/browse/JDK-8164293" rel="nofollow noreferrer">https://bugs.openjdk.java.net/browse/JDK-8164293. Is this related to my concern?

So how can I track the source of these memory block?

我想在传感器中使用 pmap，如果我使用常规映射编写代码，它可以正常工作。但是，如果我使用 pmap 我会得到一个异常值。是否有可能在 clojure 中实现这一点，还是我做错了什么？如果这是不可能的，有人可以指出为什么会发生这种情况的文档吗？只是出于好奇。下面粘贴的是我的代码和 arity 异常的开始。

我想并行化一个名为 Progressive Hedging 的优化分解算法。这种优化存储在一个名为 PH 的函数上，该函数接收模型的参数，一些参数是矩阵，但 PH 只需要以这种方式来自该矩阵的向量。

所以 PH 只需要一个来自 Pmax、Prmax 和 COpe 的向量。

为了并行化，我尝试这样做。

但我明白了：

我正在使用 Julia 0.6，也许我的编程方式来自旧版本。

任何想法？

我想使用 apply 系列函数将每个文件从一个目录复制到第二个目录中每个文件的第二张表。

我尝试了很多事情，最终完成了以下工作，但仅针对目录中的单个文件。如何将其应用于该文件夹中的所有文件？

目录的第一个 excel 文件作为第二张工作表复制到另一个 excel 文件。但我希望这适用于文件夹中的所有文件。欢迎任何建议！