问题标签 [sungridengine]

我有一个 qsub 脚本作为

问题是 - 它将所有错误和输出文件（job1.eJOBID 和 job1.oJOBID）放在我运行 qsub submit_job.sh 的同一目录中，而我想保存这些文件（输出和错误日志文件在相同的不同地点（指定为 $SEED_output）。我尝试将行更改为

但它没有用。有什么建议吗？？如何指定默认输出和错误日志文件的路径和名称？

我一直在用 C 编写非常简单的 MPI 程序。我不太擅长 C，但对 Python 非常有信心。我开始知道 Python 有 MPI 绑定。我使用 Sun Grid Engine 作为 DRMS（分布式资源管理系统）。在进入 python MPI 之前，我想知道是否可以将 python mpi 程序提交给 Sun Grid Engine，以利用系统中所有可用分布式处理器的功能。

那么，是否可以向 Sun Grid Engine 提交 python mpi 程序？

我见过 Hadoop-on-Demand，以及 SGE 上的 Hadoop 集成。我的理解是这需要管理员权限，而我在工作中的大型集群上没有。管理员忙得不可开交，几个月都无法设置我们。

我认识到瞬态虚拟集群对 HDFS 实用程序的限制。我也了解使用 luster 文件系统是如何违反规定的，但是有没有人编写过 SGE 或 Torque (PBS) 脚本来向启动 hadoop 实例的集群提交作业？

我有 50 个不同的 fasta 文件，我想使用程序 (glsearch36) 进行分析。文件编号为 3163proph00.fa - 3163proph49.fa。

我想将这 50 个几乎相同的作业提交给使用 SGE 排队系统作为数组作业的集群。

一个问题是 SGE 要求 SGE_TASK_ID 介于 1-50 之间，因此我首先必须创建变量 i 并减去 1 以获得 0。然后我创建了 j，因为数字有前导零。

我对 bash 不太精通，所以我确信在从 SGE_TASK_ID 到 i 到 j 的过程中我犯了一些语法错误。

当我提交此文件时，我收到以下错误“非法变量名。”。

任何帮助，将不胜感激。

谢谢，

我正在尝试向 SGE（FWIW，它是一系列 Gromacs 分子动力学模拟）提交（一系列）作业，其中所有作业都是相同的，除了后缀，例如input01,input02等。我将命令写入以命令序列正确处理后缀的方式运行。

但是，我找不到让 exec 环境接收该变量的方法。根据qsub手册页，-v var应该这样做。

然后，我提交以下脚本 ( run.sh) 以查看是否收到：

我按如下方式提交作业（在与上述export命令相同的会话中）：

错误流为空，输出流有：

我还尝试了以下命令，但未成功：

如果我i=19在开头添加一行run.sh，则输出为：

我现在正在考虑为每个作业生成一个文件，这基本上是相同的，但将有i=xx一行作为第一个。它看起来不太实用，但它会是一个解决方案。

会有更好的解决方案吗？

我有一个 SGE 脚本来执行一些 python 代码，使用 qsub 提交到队列。在 python 脚本中，我有一些打印语句（向我更新程序的进度）。当我从命令行运行 python 脚本时，打印语句被发送到标准输出。对于 sge 脚本，我使用 -o 选项将输出重定向到文件。但是，似乎脚本只会在 python 脚本完成运行后将这些发送到文件中。这很烦人，因为 (a) 我无法再看到程序的实时更新，并且 (b) 如果我的作业没有正确终止（例如，如果我的作业被踢出队列），则不会打印任何更新。我如何确保每次我想打印某些东西时脚本都在写入文件，而不是在最后将它们混为一谈？

我正在尝试为 qrsh（相当于 rsh 的 Oracle Grid Engine）编写一个包装器，但在识别给它的命令时遇到了麻烦。考虑以下示例：

本例中的命令从 cvs 开始。我的包装器需要是通用的，所以我不能专门寻找 cvs。关于如何识别它的任何想法？一种想法是从末尾开始向后查找可执行命令，这在这种情况下可以工作，但不会很健壮，因为“cvs”可能出现在其自身的选项中。我能想到的唯一可靠的选项是完全实现 qrsh 选项解析器，但我对此并不感到兴奋，因为它需要使用 qrsh 更新进行更新并且很复杂。

我有一个带有文件名列表的文本文件。我想使用 AWK 从特定的行号创建一个变量。我得到正确的输出使用：

我想将此输出分配给一个变量，并且从文档中我发现我希望以下工作：

或者

然而，

为空白。我是 bash 脚本的新手，不胜感激。

这可能是集群特定的问题，只能由管理员解决，但是当我有一个低优先级的作业并且出现一个高优先级的作业时，该进程被终止。

当高优先级作业完成时，低优先级作业将重新启动。用户端有没有办法让它在最初通过 SIGSTOP 启动的机器上挂起而不杀死进程？不幸的是，检查点在这里不是一个选项，所以我希望能够在不丢弃内存的情况下完成这项工作。

我们确实有这台机器的 ssh，所以如果一切都失败了，我很想做一个非常草率的脚本黑客来获得所需的行为：

但我更愿意在 SGE 内做所有事情以避免任何令人讨厌的意外

我有一个使用 Sun Grid Engine 在 SMP 并行环境中运行的工作。这段代码很好用，通常可以正常工作。代码比处理器密集型更占用内存，所以我通常使用 -pe smp 12 在我们的集群上保留整个节点（我们有 12 个核心/节点），即使作业本身（在提交的脚本中指定）只使用一小部分那个。

因为我要求的是 SMP 并行环境，所有 12 个插槽都应该来自同一个节点，并且应该有 1 个插槽/核心，对吗？因此，这应该保留整个节点。直到最近，它为此目的工作得很好。另一个用户提交了一个作业，该作业以某种方式在同一节点上获得了槽，最近也使用了网格引擎。我不确定这是怎么发生的。Grid Engine 是否会以少于请求的插槽数来启动我的 SMP 作业？如果没有，是否有更好的方法来确保我的作业保留整个节点？