问题标签 [gnu-parallel]

我需要在 shell 脚本中运行多个并行屏幕（命令）会话，但似乎 GNU 并行现在正在使用屏幕参数。例如：

工作正常，并行将两个参数传递给 date 命令。但：

给我两个命令

如果您仔细观察，“d”参数之前的 - 已被删除。也许我错过了任何明显的东西？

我很想知道在多台机器上尽可能快地在后台启动脚本的最佳方法。目前，我正在这样做

为每个 IP 地址运行

但这需要时间，因为它会单独尝试通过 SSH 连接到每台机器，以便在该机器的后台启动 setup.pl。这需要时间，因为我有大量的机器来启动这个脚本。

我尝试使用 GNU 并行，但无法使其正常工作：

但它似乎不起作用，我在目标机器上看到由 GNU 并行启动的脚本，但它停滞不前。我在日志中看不到任何内容。

我在使用 GNU 并行时做错了什么？

I would like to execute some binary files that have the same names and placed in different directories like this:

I want to execute app files at the same time. I have created a bash file in a binary directory and written this command but nothing happened:

Thanks.

对于并行化 gzip 压缩：

parallel gzip ::: myfile_*

完成这项工作，但如何传递 gzip 选项，例如-r或-9

我试过parallel gzip -r -9 ::: myfile_*了parallel gzip ::: 9 r myfile_*

但它不起作用。

当我尝试parallel "gzip -9 -r" ::: myfile_*

我收到此错误消息：

gzip: compressed data not written to a terminal. Use -f to force compression

递归添加目录的-r开关也不起作用。

……

其他命令类似：如何在使用时传递选项parallel？

我正在做一个演示，并使用 GNU Parallel 并行运行我的网络爬虫，以帮助减少总时间。我从一个php文件运行它，如下所示：

当我从终端运行这个文件时，它工作正常并且完成了commands.txt文件中给出的所有抓取工作，但是当我尝试从网页（正在调用这个php文件）运行它时，parallel给了我以下错误：

有没有人遇到过类似的问题并且可以帮助我解决这个问题？

提前致谢。

我的工作需要我在几天内编码几千部电影。每部电影都需要以 3 种不同的格式进行编码。我使用 ffmpeg 与输入源的单次读取并行输出这些格式，如下所述：http: //ffmpeg.org/trac/ffmpeg/wiki/Creating%20multiple%20outputs

此外，我正在使用 GNU Parallel 对多个视频文件进行并行编码。我们有四个不同配置（48、32、16 和 16 核）的刀片服务器并行编码视频。理想情况下，我们应该能够并行编码 112 个视频。

但是，似乎在内核较少的机器上编码完成得更快。我在大约 4 个小时内在 16 个核心服务器上完成了 16 个编码，而在 48 个核心系统上完成 48 个编码需要近 10 个小时。瓶颈可能是什么？一个典型的编码命令如下：

任何指针高度赞赏。谢谢！

我有一个内存泄漏，只有在我使用 OpenMP 支持和 GNU Parallel 扩展进行编译时才会出现：-fopenmp -DGLIBCXX_PARALLEL.

例子 ：

结果（对 valgrind 模板的恐惧感到抱歉）：

知道如何解决这个问题吗？

我在一个文本文件中有一个丑陋的 JSON 对象列表，每行一个。我想让它们打印得很好，并将结果发送到文件中。

我尝试使用 json.tool 的命令行 python 版本：

但是，在解析这个 json 时似乎出了点问题，因为 python 的 json.tool 试图将它作为多个参数打开并因此抛出：

IOError: [Errno 2] No such file or directory: {行内容，其中包含单引号、空格、双引号}

如何强制将每个行分隔的对象视为模块的单个参数？直接在 python 中打开文件并连续处理它是一种低效的解决方案，因为文件很大。试图这样做会影响 CPU。

我有一个脚本，它接受三个参数并像这样运行：

myscript.sh input1.fa input2.fa out.txt

input1.fa该脚本从和中各读取一行input2.fa，进行一些比较，然后将结果写入out.txt。这两个输入需要具有相同的行数，并且out.txt在脚本完成后也将具有相同的行数。

是否可以使用 GNU 并行化parallel？

我不在乎输出的顺序与输入的顺序不同，但我确实需要将 的i第 行input1.fa与 的i第 行进行比较input2.fa。此外，如果我得到多个输出文件（如output{#}）而不是一个，这是可以接受的——我会把cat它们放在一起。

我找到了这个话题，但答案并不是我想要的。我知道我可以split使用两个输入文件并成对并行处理它们xargs，但如果可能的话，我想在一行中执行此操作...

我正在尝试并行使用 perl 脚本。perl 脚本的输入和输出参数从目录中获取文件名。这对于 gnu 并行很简单。

但是，脚本中的一个附加参数要求我从每个文件中获取第一行和最后一行，第二列的值......类似于

其中 {1} 和 {2} 派生自先前/同时使用 awk 或 sed 来获取这些值，例如

但是我在哪里放置（如何放置）这个 awk 之类的步骤在“工作流程”中以允许 perl 脚本使用它？

看着

更改 xargs（或 GNU Parallel）的参数中的文本

正确的方法就是这样做吗？

谢谢你。