问题标签 [sungridengine]

当我在 Sun Grid Engine 上启动一个阵列作业时，以后如何才能获得所有作业所用时间的信息？即我想知道从我提交 jub 到最后一个工作完成的那一刻需要多长时间。（我不想知道所有作业一起消耗了多少 CPU 时间。）

我这样提交：

我的 SGE 执行脚本如下所示：

任何帮助表示赞赏。谢谢你。

最近我可以在集群上运行我的代码。我的代码是完全可并行化的，但我不知道如何最好地利用它的并行特性。我必须计算一个大矩阵的元素，每个元素都独立于其他元素。我想提交作业以在多台机器（如 100 台）上运行以加快矩阵的计算。

现在，我编写了一个脚本来提交多个作业，每个作业负责计算矩阵的一部分并将其保存在 .mat 文件中。最后，我将它们合并以获得整个矩阵。为了提交每个单独的作业，我创建了一个新的 .m 文件（run1.m、run.2、...）来设置一个变量，然后运行该函数来计算矩阵中的相关部分。所以基本上 run1.m 是

然后 compute_dists_matrix 使用 id 来查找它要计算的部分。然后我编写了一个脚本来创建 run1.m 通过 run60.m 和 qsub 到集群。

例如，我想知道是否有更好的方法可以使用一些 MATLAB 功能来做到这一点。因为这似乎是一个非常典型的任务。

Perl 无法打开进出运行的命令管道，这会在通过 qsub 提交到 SGE 时出现问题，因为我丢失了提交的作业 ID。如何将生成的脚本提交给 SGE并获取 SGE 分配的作业 ID？

我想创建一个数组作业，其中任务不会同时执行。这些任务将由一些未来的命令启用。我需要此功能的原因是我想汇总许多相关工作，但所有工作所需的数据不能同时获得。

我认为我可以使用 qalter，但它不允许按任务更改选项。似乎我什至无法调整工作中的任务数量。我剩下的唯一选择是让所有任务发出并休眠，直到数据可用，但我不喜欢该解决方案，因为它会导致浪费插槽。

如何获得我想要的行为，从而为一组相关任务创建一个数组作业，但任务以可控的方式发出？

我有 64 位 Debian Squeeze 系统，它运行旧的 32 位版本的 SGE execd。当我uname -m在命令行运行时，我得到了我所期望的：x86_64. 但是当我uname -m在同一主机上的 SGE 脚本中运行时，输出为i686. 这会破坏任何依赖于正确阅读的内容uname -m。

我可以解决这个问题，所以我的问题比实际更学术。我下载了 uname 源代码，但找不到它从哪里提取机器架构数据。我认为这个问题的出现是因为uname -m它是由 32 位父进程而不是 64 位父进程运行的。所以我的问题是 - 这个假设是否正确，如果是，为什么 uname 会受到执行它的进程架构的影响？

我想编写一个 CVS 包装器脚本，它使用 RSH 在另一台机器上执行命令，但遇到引号问题。

问题是即使参数是用引号传递的，RSH 似乎在执行命令时会删除它们。以下命令应在目标处显示为 3 个参数，但有 4 个。

我不是在寻找关于如何不使用 rsh 的建议，因为我真的在使用 qrsh，这是 SGE 的 rsh 兼容版本。我考虑过使用解释器，但我不知道如何转义字符串中的引号：

我最熟悉 c-shell，但如果有人要编写它，我愿意考虑使用 bash 脚本。如何编写这个 CVS 脚本？

我正在使用 sun Grid Engine 和 java DRMAA 库将作业从 Web 应用程序内部安排到集群上。就工作而言，一切都很好。但是随着时间的推移以及当我开始向集群提交多个作业时，应用程序内存使用量正在迅速增长。有没有人注意到同样的行为。我可以在这方面使用一些专家的帮助。

我一直在使用

在 Sun GridEngine 集群上提交我的任务，但现在发现自己使用的数据集（也超大的）不太方便命名。解决这个问题的最佳方法是什么？我可以尝试将它们全部重命名，但名称包含需要保留的信息，这显然会带来很多问题。我可以将所有内容预处理为 jsons，但如果有办法只使用 qsub -all_contents_of_directory，那将是理想的。

我是索尔吗？我应该去有问题的目录并找到 . -exec 'qsub setupscript.sh {}'？

我知道如何在 Jenkins 上运行 bash 脚本。但是，如果我使用 qsub 将 bash 脚本提交给 OGE 系统，Jenkins 如何知道我的工作是否终止？

有谁知道将SGE （Sun Grid Engine）的DRMAA API（作业调度和维护 API）公开为 Web 服务 API 的任何项目？最好使用 RESTful API。