问题标签 [pmap]

我正在使用一个运行了几个小时的简单测试程序。

当我通过 PS 或 pmap 监控进程时，RSS 部分会增加，而 jvisualvm 报告堆是稳定的。

如果我总结所有 RSS 匿名映射，它们会随着时间的推移而增加。

我正在使用带有 Sun JDK 1.6.0_31 的 Centos 5.7 x64。

RSS 是否应该随着时间的推移而增加？

在这里，我在两个不同的终端中运行相同程序的两个实例。他们的流程图是

在第一个终端 -

在第二个航站楼 -

我的问题是——

1. “/lib/x86_64-linux-gnu/ld-2.13.so”这个库在终端 1 和 2 中有两个不同的地址（ 00007f90f279a000 和 00007f3b0b0cb000 ）。这是否意味着该库在主内存中加载了 2 次？

2. 假设 a.out 是简单 Hello_World.c 程序的二进制文件

   那么 a.out 的哪个部分有 r & w 权限？简而言之，该段应该包含源“0000000000601000 4K rw--- /home/vikram/a.out”的哪一部分？

3. 为什么 anon 不像其他段那样连续？

4. 什么“ 00007f90f2590000 2044K ----- /lib/x86_64-linux-gnu/libc-2.13.so ”这个段应该包含......因为它没有读，写，执行权限。

编辑：

数据真的是这样的。

1,000-00-000,GRABBUS,OCTOPUS,,M,26-Nev-12,,05 FRENCH TOAST ROAD,,VACANT,ZA,1867,(001) 111-1011,(002) 111-1000,,

我必须让它看起来很傻，因为它包含专有信息。

这是在使用 clojure-csv 创建向量向量之前的样子。

我使用了解析后的数字来简化它，但它们并没有被简化为一个值。我想从 clojure-csv 解析数据中挑选某些列并创建一个较小的 csv 行。

对于任何混淆，请接受我的歉意。

结束编辑：

您如何确定何时使用 reduce 或使用 pmap？

不久前，我在博客上收到了关于 reduce 的评论。具体来说，评论说 reduce 通常不能并行化，但 map (pmap) 可以。

什么时候使用或不使用reduce会有所不同，对于以下示例，它会有所不同吗？

谢谢你。

编辑：

(defn reduce-csv-row "接受 csv 行和要提取的列列表，并将 csv 行减少到所选列表。" [csv-row col-nums] (reduce (fn [out-csv- row col-num] (let [out-val (nth csv-row col-num nil)] (conj out-csv-row out-val))) [] col-nums))

我试图使用pmap -x命令查看 Linux x86-64 上进程的内存映射。我对 pmap 的输出感到困惑。特别是对于映射动态库的条目。它们有多个条目（实际上大多数都是 4 个条目，有些有 3 个条目）。下面是一个例子

每个库的第二行的大小始终为 2MB，但没有页面权限。在所有图书馆中，它的 RSS 似乎总是为零。最后两行也具有相同的大小（这是基本页面大小）和相同的权限（少数库没有 rw 映射）。

有人对此有什么解释吗？我有一种感觉，可能具有只读保护的映射是由加载器完成的，以读取库的元数据，而具有可执行权限的部分实际上是库的代码。不过我可能是错的。

但我对中间那一排一无所知。没有权限也没有用途？有人在这里有一些智慧的话吗？

我还看到有几页报告在匿名内存上，并且没有设置任何模式位。这些代表什么？

我现在正在调查一个 prod 问题，并且希望我的调查不会对正常的 prod 环境造成任何副作用，那么它是否会导致正在运行的程序即使在短时间内暂停？谢谢

我是 Erlang 的新手，所以为了培训我尝试从头开始实现标准功能。我试图从列表模块创建 map/2函数的并行实现。但是我的实现工作非常缓慢。如果我在实施过程中犯了任何主要错误，您能否指出我：

这是测试结果：

正如您可能已经看到的 0,137804 秒。与0,044136 秒相比。

谢谢

有几篇有些旧的博客文章建议在混合动态变量时要小心binding， 和pmap，例如在这里，我们得到以下代码片段：

但这不是我运行该代码时发生的情况（将第一行更改为(def ^:dynamic *foo* 5)）。我得到了三个15s 作为输出（使用 Clojure 1.4），正如您天真地期望的那样——也就是说，传递给 pmap 的函数看到的绑定形式的变化。线程本地绑定和 pmap 交互的方式是否发生了变化？我在任何地方都找不到这个记录。

我在模块rpc函数pmap中找到了。我在尝试使用它时卡住了。

第一个问题 - 它是否需要与其他节点连接，或者它会像lists:map没有与其他节点的连接一样执行？

我尝试在pmap不连接其他节点的情况下执行，但出现异常：

之后 - 我启动了另一个本地节点并将其与 current. 但仍然得到同样的错误。

请告诉我如何rpc:pmap正确使用。

谢谢

PS 以下代码可以正常工作（返回结果 3）：

我正在尝试将我的计算与rpc:pmap. 但我对它的表现有点困惑。

这是一个简单的例子：

首先 - 在单个节点上测试：

之后，我连接了第二个节点（我的操作系统中的第二个 erlang shell 进程）：

最后我连接了第三个节点：

所以 - 我的三个节点与单节点的性能更差。

我意识到节点之间的通信存在一些开销。但是我如何理解在哪些情况下更好地在多个节点上执行计算呢？

编辑：

我在 shell 中的逐步测试：

单节点性能测试：

网络环境入口：

添加第二个节点：

使用两个节点测试性能：

连接第三个节点：

用三个节点测试性能：

PS我猜性能会下降，因为我在同一台物理机器上将每个节点创建为一个新的 erlang-shell 进程。但我不知道我是否正确。

为什么这些 lib 的加载时间超过了？有必要吗？为什么？