问题标签 [sungridengine]

我经常想在 Grid Engine 集群上启动一组完全不相关的（“令人尴尬的”并行）作业，以达到负载平衡的目的。

我现在所做的是，我为每个作业生成一个 Bash 脚本，然后分别提交它们中的每一个，所有这些都由我编写的 Perl 脚本控制。

如果我只是将所有作业放入一个文件，一行作业，那么 Grid Engine 将按顺序执行这些作业，这并不重要。

有什么方法可以让我只有一个文件，并告诉 Grid Engine 它应该并行执行每一行/作业？

基本上我想要像 Grid Engine Array Jobs 这样的东西。但是数组作业的问题是，它们只有在每个作业之间的变化元素是一个数字或数组中的一个索引，并且这个数字/索引是均匀分布的情况下才有效。但我说的是完全不相关且不共享模式的工作。

我们正在使用 SGE 集群。我不时收到以下错误。当我在不同的输入文件上一次多次运行相同的脚本（使用集群）时，就会发生这种情况。你知道是什么原因造成的吗？如果我再次运行它，我将不会收到此错误...

从 qstat (Sun Grid Engine) 联机帮助页：

mem：作业的当前累积内存使用量，以 Gbytes 秒为单位。

这意味着什么？

我有 200 多个工作需要提交到 sge 集群。我会将它们提交到两个问题中。其中一个问题有一台我不想提交作业的机器。我怎样才能排除那台机器？我发现唯一可能有用的是（假设 q1 可用的三个有效节点和 q2 的所有可用节点都是有效的）：

我有一个运行 c++ 函数的 matlab 代码，它在我的计算机或我尝试运行它的任何其他桌面上运行良好。（为了在其他桌面上运行它，我复制了 matlab/c++ 函数和 mex 文件）

最近我尝试在 sge 集群上运行代码，但出现错误消息

“'double'类型的输入参数的未定义函数'img'”

“img”是matlab调用的c++函数。

有没有人遇到同样的问题？有谁知道如何解决它？

10x 埃拉德

我正在使用drmaa-python向 SGE（Sun Grid Engine）提交和监视作业。我在 GUI 中有以下状态

• 队列中活动的作业
• 运行作业
• 已完成的工作
• 失败的工作
• 状态未定

有时我得到的工作很少状态未确定。当我在 SGE 主机的终端中使用qstat检查作业状态时，我可以看到所有作业都在运行，而没有一个作业失败。Status Undetermined通常会误导用户，因为用户可能认为Status Undetermined作业存在某种问题。

所以，我知道问题不在于 SGE，而在于 drmaa-python 库。

有谁知道为什么 drmaa-python 无法确定状态？

考虑一个脚本，“run.sh”，通过 qsub 发送到集群作业队列，

我的问题是如何在脚本 run.sh 中获取进程的编号——在文件 *.o${PID} 和 *.e${PID} 上显示为 ${PID} 的那个？

qsub 会导出吗？在哪个名字上？

是否可以在 bash 脚本内的注释中扩展变量？

我想编写一个脚本来输入SGE。该qsub语法允许我使用 bash 脚本中以#$. 例如，

我想要的是-o参数被动态设置为一个变量，比如$1. 所以我会天真地写

但是，由于该行以 a 开头，因此 bash 会忽略它并且不会扩展#变量。$1

有任何想法吗？一些 bash 预处理器？还有什么办法？

编辑我只是选择了$1一个例子。它也可以是$FOOor $BAR。

我已经安装了 openmpi ，而不是/usr/...在 a 中/commun/data/packages/openmpi/，它是用--with-sge.

我在 SGE 中添加了一个新的 PE，如http://docs.oracle.com/cd/E19080-01/n1.grid.eng6/817-5677/6ml49n2c0/index.html中所述

没有 SGE，程序运行没有任何问题，使用多个处理器。

现在我想将我的程序提交给 SGE

在 Open MPI FAQ中，我读到：

但我的输出是：

我还尝试了mpirun嵌入在脚本中的命令：

但它失败了

我怎样才能解决这个问题？

在 openmpi 邮件列表中回答：http ://www.open-mpi.org/community/lists/users/2013/02/21360.php

在 SGE 中，我们有

qsub -now yes/no <command>

通过“-now yes”，立即安排作业（如果可能）或根本不安排。我们没有被放入待处理队列。

如果不能立即执行，则通过“-now no”将作业放入待处理队列中。

但是在 LSF 中，我们有 qsub 的等价物 bsub 。

在 bsub 中，如果不能立即执行，我们将被放入待处理队列中。我们没有 qsub 中的“-now yes”选项。

我们在 bsub 中有什么东西是“qsub -now”吗

PS：一种解决方案是我们可以在运行 bsub 后检查一段时间（几秒钟），如果我们被安排了，然后退出。我正在寻找一种更优雅的方式。