问题标签 [qsub]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1449 浏览

parallel-processing - 依赖于 SGE 集群的并行处理

我正在计算集群上做一些实验。我的算法有两个步骤。第一个将其输出写入第二步将使用的一些文件。依赖关系是 1 到 n,这意味着一个 step2 程序需要 n step1 程序的输出。我不知道做什么既不腰集群资源也不让头节点忙。我目前的解决方案是:

提交脚本(这在头节点上运行)

第 2 步算法(在计算节点上运行)

有没有更好的方法来做到这一点?

0 投票
2 回答
168 浏览

scheduled-tasks - 是否所有集群调度程序都接受数组作业,如果他们接受,他们是否设置了 SGE_TASK_ID 数组 ID?

当使用qsub将数组作业放在集群上时,全局变量 SGE_TASK_ID 被设置为数组作业 ID。我在集群上运行的 shell 脚本中使用它,其中每个阵列作业需要根据 SGE_TASK_ID 执行不同的操作。这是集群调度程序执行此操作的常用方法,还是它们都有不同的方法?

0 投票
2 回答
301 浏览

linux - 将 -N 选项与 qsub 一起使用时出错

我尝试qsub -N "compile-$*"在 Makefile 中使用它并给出以下错误,因为在这种情况下 $* 等于“compile-obj/linux/flow”。

我正在使用的整个命令是:-

知道如何在运行 qsub 时在命名中包含斜杠吗?

谢谢

0 投票
0 回答
1175 浏览

python - 多处理环境中的python subprocess qsub命令

我有一个需要通过 lsf 场(使用"qsub -I")运行的命令列表。假设命令列在 commands_l 中。我正在使用多处理模块尝试一次运行 2 个进程。(我使用的是linux)

这是代码:

我面临的问题是执行被输出卡住了:

奇怪的是,当我使用相同的命令“qsub -P test -I ls -l”单独运行 execCmd 时,它工作正常。

在我看来,qsub 在多处理环境中运行时存在一些问题。我错过了什么吗?谢谢。

0 投票
9 回答
38948 浏览

qsub - 等待一组 qsub 作业完成

我有一个批处理脚本,它启动了几个 qsub 作业,我想在它们全部完成时进行陷阱。

我不想使用 -sync 选项,因为我希望它们同时运行。每个作业都有一组不同的命令行参数。

我希望我的脚本等到所有工作都完成后,然后再做一些事情。我不想使用睡眠功能,例如检查是否在每 30 秒后生成了某些文件,因为这会消耗资源。

我相信 Torque 可能有一些选择,但我正在运行 SGE。

请对我如何实现这一点有任何想法?

谢谢 Ps 我确实找到了另一个线程 链接

有回应

您可以使用 wait 停止执行,直到完成所有作业。如果您循环等待特定的 id,您甚至可以收集所有退出状态和其他运行统计信息(花费的时间、当时完成的作业数等)。

但我不确定如何在不轮询某些值的情况下使用它。可以使用 bash 陷阱,但我将如何使用 qsub?

0 投票
2 回答
1525 浏览

linux - qsub 中的别名命令

qusb 的 -V 选项仅导入环境变量,但不导入 .bashrc 的别名。例如

并且 qsub 脚本是

在这种情况下echo $PYTHONPATHls工作正常,但llla出错ll: command not found。那么如何在 qsub 中导入别名命令呢?

或者有没有更好的替代方法,alias以便命令(llla)表现得像ls并且可以轻松导入

0 投票
2 回答
2780 浏览

python - 作业完成时集群 qsub 检查。Python

我正在构建一个 python 管道,并在该管道脚本中调用另一个 python 脚本,该脚本使用 qsub 向集群提交作业(该作业包含 op 70 个作业)现在我需要这些作业的输出才能继续工作。

在完成所有 70 个作业之前,如何“暂停”python 脚本?

我无法修改提交给服务器的脚本,所以必须在我自己的脚本中完成。(使用 AMD64 集群)

编辑:

这就是我调用另一个脚本的方式:

我仍在努力。并搜索interwebz,但我不禁想知道……这甚至可能吗?

0 投票
1 回答
2320 浏览

cluster-computing - 如何在 SGE 中抑制错误和输出日志文件

我在生成大型日志文件的 Sun Grid Engine 批处理系统中运行代码。我可以使用 -o 和 -e 选项选择输出位置,但想知道我是否可以告诉它根本不记录输出。

0 投票
1 回答
4761 浏览

csh - 如何在 PBS 扭矩中使用 qsub -v 命令?

我想通过使用“qsub -v”命令将变量传递给 csh 脚本。我知道我们可以列出参数值对如下,

有谁知道这些参数的值是否可以是字符串、以逗号分隔的数字列表或文件名?例如,下面的命令是否可行?

非常感谢你,

0 投票
4 回答
2683 浏览

r - 从 R 脚本中将作业提交到从节点?

myscript.R使用作业调度程序(特别是PBS)在集群从节点上运行

目前,我使用以下命令将 R 脚本提交到从节点

R 中是否有允许我在头节点上运行 myscript.R 并将单个任务发送到从节点的函数?就像是:


更新: qsub 命令的替代解决方案是#/usr/bin/Rscript从第一行中删除myscript.R并直接调用它,正如@Josh 所指出的那样