问题标签 [qsub]

我正在计算集群上做一些实验。我的算法有两个步骤。第一个将其输出写入第二步将使用的一些文件。依赖关系是 1 到 n，这意味着一个 step2 程序需要 n step1 程序的输出。我不知道做什么既不腰集群资源也不让头节点忙。我目前的解决方案是：

提交脚本（这在头节点上运行）

第 2 步算法（在计算节点上运行）

有没有更好的方法来做到这一点？

当使用qsub将数组作业放在集群上时，全局变量 SGE_TASK_ID 被设置为数组作业 ID。我在集群上运行的 shell 脚本中使用它，其中每个阵列作业需要根据 SGE_TASK_ID 执行不同的操作。这是集群调度程序执行此操作的常用方法，还是它们都有不同的方法？

我尝试qsub -N "compile-$*"在 Makefile 中使用它并给出以下错误，因为在这种情况下 $* 等于“compile-obj/linux/flow”。

我正在使用的整个命令是：-

知道如何在运行 qsub 时在命名中包含斜杠吗？

谢谢

我有一个需要通过 lsf 场（使用"qsub -I"）运行的命令列表。假设命令列在 commands_l 中。我正在使用多处理模块尝试一次运行 2 个进程。（我使用的是linux）

这是代码：

我面临的问题是执行被输出卡住了：

奇怪的是，当我使用相同的命令“qsub -P test -I ls -l”单独运行 execCmd 时，它工作正常。

在我看来，qsub 在多处理环境中运行时存在一些问题。我错过了什么吗？谢谢。

我有一个批处理脚本，它启动了几个 qsub 作业，我想在它们全部完成时进行陷阱。

我不想使用 -sync 选项，因为我希望它们同时运行。每个作业都有一组不同的命令行参数。

我希望我的脚本等到所有工作都完成后，然后再做一些事情。我不想使用睡眠功能，例如检查是否在每 30 秒后生成了某些文件，因为这会消耗资源。

我相信 Torque 可能有一些选择，但我正在运行 SGE。

请对我如何实现这一点有任何想法？

谢谢 Ps 我确实找到了另一个线程 链接

有回应

您可以使用 wait 停止执行，直到完成所有作业。如果您循环等待特定的 id，您甚至可以收集所有退出状态和其他运行统计信息（花费的时间、当时完成的作业数等）。

但我不确定如何在不轮询某些值的情况下使用它。可以使用 bash 陷阱，但我将如何使用 qsub？

qusb 的 -V 选项仅导入环境变量，但不导入 .bashrc 的别名。例如

并且 qsub 脚本是

在这种情况下echo $PYTHONPATH，ls工作正常，但ll会la出错ll: command not found。那么如何在 qsub 中导入别名命令呢？

或者有没有更好的替代方法，alias以便命令（ll或la）表现得像ls并且可以轻松导入

我正在构建一个 python 管道，并在该管道脚本中调用另一个 python 脚本，该脚本使用 qsub 向集群提交作业（该作业包含 op 70 个作业）现在我需要这些作业的输出才能继续工作。

在完成所有 70 个作业之前，如何“暂停”python 脚本？

我无法修改提交给服务器的脚本，所以必须在我自己的脚本中完成。（使用 AMD64 集群）

编辑：

这就是我调用另一个脚本的方式：

我仍在努力。并搜索interwebz，但我不禁想知道……这甚至可能吗？

我在生成大型日志文件的 Sun Grid Engine 批处理系统中运行代码。我可以使用 -o 和 -e 选项选择输出位置，但想知道我是否可以告诉它根本不记录输出。

我想通过使用“qsub -v”命令将变量传递给 csh 脚本。我知道我们可以列出参数值对如下，

有谁知道这些参数的值是否可以是字符串、以逗号分隔的数字列表或文件名？例如，下面的命令是否可行？

非常感谢你，

myscript.R使用作业调度程序（特别是PBS）在集群从节点上运行

目前，我使用以下命令将 R 脚本提交到从节点

R 中是否有允许我在头节点上运行 myscript.R 并将单个任务发送到从节点的函数？就像是：

更新： qsub 命令的替代解决方案是#/usr/bin/Rscript从第一行中删除myscript.R并直接调用它，正如@Josh 所指出的那样