问题标签 [gnu-parallel]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
10143 浏览

bash - 输出到文件时的 GNU 并行输出进度

我有一个简单的 bash 脚本要运行:

并行的进度指示器"--progress",写入文件path_count.csv。我只想写入文件,同时echo {}显示pdfgrep {}--progress屏幕。

如果我做 :

文件 path_count 的进度仍然乱码。

任何帮助表示赞赏。谢谢阿尔文

0 投票
1 回答
130 浏览

c - Unix 命令行提示符下的 GNU 并行设置

我有一个 ac 程序,它通过标准输入 main(argc) 或通过 scanf() 调用输入。

它的设置使得如果没有合适的标准输入,它使用 scanf() 调用来请求输入。

我正在尝试使用 gnu 并行启动具有不同输入值的该程序的多个版本。该程序将 2 个整数作为输入,例如:

输入也将是增量的,因此如果第一个文件的输入是 0 10 那么第二个文件输入将是 10 20 第三个文件 20 30 等等。

我只是很难构建正确的调用来实现我想要的。有人对此有任何想法吗?

谢谢

0 投票
2 回答
3706 浏览

bash - 在 GNU Parallel 中并行化嵌套的 for 循环

我有一个 OCR PDF 文件的小 bash 脚本(稍微修改了这个脚本)。每个文件的基本流程是:

对于 pdf 文件中的每一页:

  1. 将页面转换为 TIFF 图像(imegamagick)
  2. OCR 图像(正方体)
  3. 猫结果到文本文件

脚本:

由于高分辨率和 tesseract 只能使用一个核心的事实,该过程非常缓慢(转换一个 PDF 文件大约需要 3 分钟)。

因为我有数千个 PDF 文件,我想我可以parallel使用所有 4 个内核,但我不知道如何使用它。在我看到的例子中:

不幸的是,我无法弄清楚如何应用它。如何并行化我的脚本?

0 投票
1 回答
344 浏览

processing-efficiency - 加速 GNU 并行

在具有 47,000 个条目的文件上运行以下命令需要 24 分钟(8 核 windows 7,运行 Cygwin):

我将每一行File_Path.txt从 pdf 转换为文本文件并计算其中的单词。有什么办法可以缩短处理时间吗?

0 投票
1 回答
414 浏览

bash - 为并行进程替换 bash for 循环

我真的在重做一个 bash for 循环以并行运行。

循环是这样的:

我试过这个没有成功。它告诉我“需要 -c 的参数”

谁能告诉我我的错误?

0 投票
1 回答
217 浏览

python - 来自 tsv 的 gnu 并行输入

我有 3 或 4 列的 tsv,每列都是 shell 脚本的参数。
所以我想使用 gnu 并行运行带有 tsv 值的 shell 脚本

~ parallel --colsep "\t" thescript.py --arg1 {1} --arg2 {2} --arg3 {3} --arg4 {4} :::: input.tsv

第 4 列并不总是存在,所以我想知道是否有一种聪明的方法可以--arg4 {4}仅在{4}存在时添加。
python 使用 optparser.Optionparser,我更喜欢避免修改脚本。

0 投票
3 回答
1363 浏览

bash - 如何将部分参数传递给 gnu 并行命令

我正在尝试运行一个 GNU 并行命令并向它传递一堆日期,类似这样,但是一个更复杂的命令:

这行得通,但是我需要日期跨越两个不同的月份,参数 20131018 的命令应该如下所示:

所以它分裂了论点的第一部分..我怎样才能达到这个效果?我想从 bash 变量的角度思考:

0 投票
2 回答
462 浏览

bash - 在文件存在时运行 GNU Parallel

我目前正在从我的脚本中生成大约 100 个文件,我想以 20 个批次迭代这些文件,并通过另一个脚本执行它们,然后在我完成后删除这些文件(清理)我相信 GNU Parallel 可以做到这一点但我不确定该怎么做?

预期输出将类似于

0 投票
1 回答
4094 浏览

bash - 在管道中使用 GNU 并行

从文件读取时,运行以下命令可以完成我想要的操作:

我想用管道做类似的事情。请注意,我使用以下页面作为管道阅读器和编写器的灵感:http ://www.linuxjournal.com/content/using-named-pipes-fifos-bash

这是我的管道阅读器文件:

这是我的作家:

然后我多次运行 pipeWriter,例如

运行 pipeReader 的 shell 显示:

首先,存在数据缺失的问题。其次,parallel 在管道中似乎并不并行运行。我希望它一次运行两个工作(或者更确切地说,最多两个工作。如果它只有一个工作,那很好,如果另一个工作可以启动它)。

我哪里错了?

0 投票
1 回答
332 浏览

awk - GNU 并行与可变格式 printf

我在使用下面的代码获取正确的输出格式时遇到了一些问题。输出应如下所示:

等等……等等

我正进入(状态:

好的,所以我正在尝试使用在运行时动态设置的printf %s%*.*s%s格式来获取变量 printf 格式。*.*在下面的代码中,在以 开头的行中printf,如果我设置了;

然后代码运行。这告诉我我很接近让它发挥作用。问题是我无法获取0$var_format将它们的值发送到*.*,这会给我printf, 即的可变性质printf "%s%0.$var_format%s"。感谢任何有意见的人。

A.达斯