问题标签 [gnu-parallel]

我喜欢 GNU Parallel 并尝试将其用于分页，但需要帮助才能使其成功运行。基本上，我遵循 Quickblox API 指南中的用例来获取数据：

http://quickblox.com/developers/Custom_Objects#Get_related_records

一个人可以检索的最大记录数是每页 100 条，并且一次只能检索一页。这些是通过 -d 参数指定的。我想使用 GNU Parallel 来获取第 1..79 页。

我找到了一个线程，它解释了当您的参数具有许多不同的值但无法成功地适应我的情况时如何使用 GNU Parallel。

GNU Parallel - 并行化串行命令行程序而不更改它们

您的帮助将不胜感激！

假设我正在使用以下 gnu 并行命令运行 N 个作业：

我如何调用并行来终止所有正在运行的作业并且一旦它们中的任何一个退出就不再接受？

我有两个具有相同基本名称的文件，我想使用我的 Ruby 脚本解析它们，并且在一个只有一对文件的库中有效：

并行 -j 4 "prodigal_pfam_merger.rb {1} {2} > {1}.final.gff" ::: *.gff.parsed ::: *.domtblout.parsed

但鉴于 Parallel 将为您提供输入源的所有组合，这在处理多组文件时不起作用。我需要的只是与共享基本文件名的组合。如果可以删除两个扩展名（2 次 {.} 或 {..}），那么我会这样做：

并行 -j 4 "prodigal_pfam_merger.rb {} {..}.domtblout.parsed > {}.final.gff" ::: *.gff.parsed

是的，Ole Tange，我在看着你 ;-)

我想使用 gnu-parallel 来并行化以下代码片段

这是否可以使用类似的东西来实现

上面的语法不起作用。

动机：

我想使用并行来向集群提交一些作业，如此处所述 http://docs.rcc.uchicago.edu/software/scheduler/parallel/README.html

我正在尝试使用 GNU Parallel 同时运行 10 个 BASH 函数实例

BASH 函数从图像中下载图块并将它们拼接在一起 - 首先是单行，然后是每一列 - 到单个图像文件。

不幸的是，显然显而易见的解决方案 - 第一个是

不工作。

有没有办法使用 GNU Parallel 来做到这一点？

我有两个大的制表符分隔文件 A.tsv 和 B.tsv，它们看起来像（标题不在文件中）：

我想选择 A 中的 ID 列表，使得 10=< AGE <=20 并选择 B 中与列表匹配的行。我想使用 GNU 并行工具。我的尝试是两个步骤：

第一步有效，但第二步出现错误，例如：

我怎样才能解决这个问题？即使 A.tsv 和 list.tsv 比内存大 2 到 3 倍，这种方法是否有效？

在我使用 gnu 并行版本 20121122 之后的旧机器上

我看到正在运行的作业的输出，这对于调试目的非常方便。

在我的并行版本为 20140122 的新机器上，然后我执行上述命令，我在终端中什么也看不到。

从另一个 SO 线程中，我发现了--tollef可以为我解决问题的标志，但很快它就会被淘汰。--tollef国旗退役后如何保持工作正常？

我正在使用此命令成功搜索：从ips.txt日志目录（压缩文件）中的 txt 文件中搜索可疑 IP 列表。

我现在想与它并行使用..来加快搜索速度。我目前无法找到正确的参数。我的意思是使用模式文件（每行一个）并将其导出到结果文件中。

请问有没有平行的大师？

我发现的更接近的命令是： grep-or-anything-else-many-files-with-multiprocessor-power

但是无法将它与模式文件列表一起使用并将结果导出到文件中......

请大家帮忙，谢谢。

我正在尝试awk使用parallel命令作为 shell 脚本来处理文本文件，但无法让它将每个作业输出到不同的文件

如果我尝试：

它输出到文件file{}.out而不是file1.out,file2.out等。

教程和手册页也建议我可以使用--files，但它只是打印到stdout：

我想使用 GNU 并行运行一堆这样的命令：

所以这个问题（How to use bash to get the last day for each month for the current year without using if else or switch or while loop?）展示了如何使用bash获取每个月的最后一天。

我不清楚如何将多个参数传递给并行，我假设将重复运行 shell 脚本以生成开始/结束日期。

有没有办法从命令行轻松地做到这一点，或者我应该先生成所有日期并将它们放入一个文件中以便并行读取，还是有更好的方法？