问题标签 [gnu-parallel]

我正在处理一个大型私有 /8 网络，需要枚举所有正在侦听端口 443 并在其 HTTP HEADER 响应中说明特定版本的网络服务器。

首先，我想nmap通过连接扫描运行并通过输出文件对自己进行 grep，但这结果会引发许多误报，其中nmap指出端口被“过滤”而实际上是“打开”（使用连接扫描：）nmap -sT -sV -Pn -n -oA foo 10.0.0.0/8 -p 443。

所以现在我想用 bash 编写脚本，curl伪代码就像：

由于我对 bash 不太熟悉，我不确定如何正确编写脚本 - 我必须：

• 遍历所有 IP
• 确保只有 X 个威胁并行运行
• 理想情况下，将输出剪切为仅在一个文件中记下匹配主机的 IP
• 理想情况下，确保只记下匹配的服务器版本

任何建议或指向一个方向都非常感谢。

如果由 gnu 并行生成的任务超时，是否有办法触发操作（例如向管理员发送电子邮件）？

我有一个并行测试套件（perl proof -j XXX）。如果用户键入 make -j 8 all，我希望使用相同的参数运行测试套件：prove -j XXX t。如果没有，那么我希望它单线程运行。因为我知道测试套件是顶级的并且依赖于所有二进制目标，所以我想非常简单地传递用户指定的并行参数。

gnu make 中是否有允许获取用于运行 make 的命令行参数的东西？或者用户是否必须执行以下操作：make -j 8 PLL=8 all。

似乎 anaconda 安装的 python 环境无法通过 gnu parallel 远程评估：

但是anaconda版本是

这是我的问题。我正在运行一个 python 程序（myprog.py），它取决于 anaconda 安装的包。它在单个远程机器上运行良好，但是当我通过 gnu 并行在多台机器上执行时，如下所示，

我得到错误

我需要通过 gnu 并行为目录中的每个元素运行一个 bash 函数。我需要为这个函数访问一个 evn 变量。我如何通过它。例如，shell 脚本中的以下代码。我有一个变量 DIRS=/folder/log。如何将 'DIRS' 传递给函数 readfile_ 。提前致谢。

在我的代码中的某个时刻，我必须对 unordered_map 中的所有元素进行操作。为了加速这个过程，我想使用 openMP，但天真的方法不起作用：

原因是 unordered_map 的迭代器不是随机访问迭代器。作为替代方案，我尝试了在 for_each 上工作的 __gnu_parallel 指令。但是下面的代码

用（gcc 4.8.2）编译

不并行运行。使用向量切换 unordered_map 并使用相同的 __gnu_parallel 指令并行运行。

为什么在无序地图的情况下它不并行运行？有解决方法吗？

下面我给你一些简单的代码，它重现了我的问题。

我期待着您的回答。

每天我都必须更新一堆存储库，并在其中一些中执行另一个命令（来自 CARTON，Perl 模块依赖管理器）。我总是使用循环来做到这一点，但如果可能的话，我想与GNU 并行并行执行，但我不太了解它的教程。

我读过的可以帮助我的更相似的一点被称为“在所有主机上运行相同的命令”，所以我进入了所有存储库的目录并尝试执行：parallel --onall carton但我不知道它是否有效。任何人都可以帮助我吗？

我有大约 100k 个 gzip 压缩的 JSON 文件，它们总共等于大约 100GB。所有文件都在同一个目录中。我在我的 mac os x 上本地运行它。

我有几种不同的模式要匹配，并尝试以多种方式运行命令，但它们都需要几个小时才能完成。

我从这个命令开始，从这里和这里拉：

这工作正常，但需要大约 4 小时才能完成。

我试图将它与一种或多种模式并行化：

这些确实会产生多个 zgrep 进程，但大多数时候它们是空闲的，并且它们似乎运行得没有更快（在单模式解决方案中），并且在我决定关闭之前，多模式解决方案运行了 8 小时它下来。

我没想到 zgrep 真的会花这么长时间——我希望从这个数据集中 zgrep 相关行，然后将它们插入到更适合分析的结构中，也许是本地数据库。

有没有办法加快zgrep？

场景：S3 存储桶有 1000 个文件。我有两台机器。每台机器都有两个驱动器 /dev/sda 和 /dev/sdb。约束：没有一个驱动器可以容纳所有 1000 个文件。没有一台机器可以容纳所有 1000 个文件。期望的结果：使用 GNU 并行在两台机器上的 4 个驱动器上分发 1000 个文件。

我试过这样的事情：

但我得到：

其中“R”是远程主机 IP。如何将文件（我在一个文件中包含所有名称）从 S3 分发到 4 个驱动器？谢谢你。

我正在使用 GNU Parallel 将 1000 个文件从 S3 下载到两个 EC2 主机（-S:,R），其中“R”是远程对等方的 IP。
使用 --jobs 64，从 S3 下载 64 个文件（相当大的文件）需要很长时间：

结果，我得到

这是由于远程对等方上的 sshd 配置，我无法更改这些设置（机器不是我的。）

查看文档，我找不到像keep-alive这样的东西。我该如何解决这个问题？谢谢你。