问题标签 [qsub]

我目前正在使用一个使用 TORQUE 的集群。最近，当我使用 qsub 提交作业时，可以使用 qstat 检查其状态，但找不到 STDIN.e12345678 或 STDIN.o12345678 文件（作业数量只是示例）。使用 qstat -f 命令显示文件应该位于我的主目录中，但它们不存在（也没有隐藏）。可能是什么问题呢？

我希望我能在正确的 Q+A 页面上解决问题。另外我只是一个不太了解集群在做什么的用户，所以如果我使用了错误的表达方式，请原谅。

现在我正在集群上执行以下操作：

(i) qsub-X -I -l walltime=60:00:00,nodes=1:ppn=8

(ii) 提交具有以下内容的myjob（使用./myjob）

(iii) 提交后，我打开一个新连接，使用 (i) 进行 qsub，编辑 myjob 文件，即将 i 从 {1,-1} 更改为 {2,-2}，然后提交 ./myjob。

我从 i=1,-1 到 i=20,-20 重复这个过程。

没有办法自动化吗？我花了一天（实际上超过一天）尝试使用作业数组、for 循环等来完成这项工作。应该有一种快速的方法来要求 160 个处理器并提交这项工作，或者我们人类还没有进阶到计算机的那个阶段？

任何帮助都非常非常感谢。

PS - 是的，我知道我不是计算机巫师，请原谅我的无知。

我尝试通过 qsub 向 sqe 添加工作。但它似乎被卡住了。状态显示为“dt”。有什么问题？因此，我无法再添加运行任何作业。如何从队列中删除作业？

我有一个 python 脚本，它对输入文件执行一些操作，然后使用 qsub 提交一个新作业。

一旦这个新提交的作业完成，我想再次运行 python 脚本。所以基本上，这个python脚本的运行必须与python脚本本身提交的上一个作业的运行相关联。

用代码来概括。我进入父目录并输入：

python 脚本的结构如下（实际上要复杂得多）：

如何仅使用我的 python 脚本和作业脚本来做到这一点？

以前我一直在使用 crontab 并每 x 小时运行一次，但这是一个非常不令人满意的情况，因为每次模拟需要不同的时间来运行，从而导致大量的死区时间。

谢谢你的帮助

我想在不创建离散作业文件的情况下即时提交 qsub 作业。所以，假设我有一个名为“get_time.py”的python 脚本，它只报告时间。而不是像这样制作提交脚本：

...然后提交作业：qsub job.sub

我希望能够绕过文件创建步骤，并且我认为该构造将是这样的： qsub -d . -e get_time.py

我的虚构参数在哪里-e告诉 qsub 以下是要发送到调度程序的代码，而不是使用离散的提交文件。

我疯了吗？似乎应该已经有一个简单的解决方案，但我无法在任何地方找到它。感谢您的任何建议！

我正在尝试通过 提交作业qsub myScript.sh -cwd，其中 shell 脚本运行 Python-2.7 脚本，myPython.py.

现在，myPython.py需要导入存储在我的本地目录中的 Python 包，以便脚本以

提交作业后，日志文件包含 Python 的以下输出：

这个错误发生在从*.py文件中导入了几个模块而没有返回错误之后，所以我相当确定这不是路径的问题。我发现的唯一区别是problem_c文件以.pyf（即problem_c.pyf）结尾。它与以 . 结尾的模块存储在同一目录中.py。

当我在本地运行脚本python2.7 myPython.py时，加载包时不会发生此错误。但是，如果不将其提交到队列中，该作业的内存占用太大而无法完成。为什么在我使用 时编写为.pyf文件的模块会受到不同的处理qsub，在这种情况下如何导入它们？

（如果重要的话，我正在处理的集群是使用 Sun Grid Engine 设置的。）

谢谢你的想法。

有没有办法请求完整的机器？在我的部门，我遇到的问题是，在运行大型作业时，一些进程被分配给共享机器。我不知道为什么，但是这些共享机器上的进程会非常慢，可能是因为其他用户在做什么。

我想避免这种情况，所以理想情况下我可以在调用 qsub 时请求不共享节点，这可能吗？

我们使用的是 SGE，不同的节点有不同的核心数，所以我不能只使用 ppn=4。

I have been looking for a simple way to capture the job ID of a job submitted by qsub. I saw a suggestion was given by providing a name to the job, and using that name. But that's an indirect method. I tried this way but getting an error

Can anyone please suggest a neat way to capture the job ID from qsub?

Thank you very much.

我正在通过 qsub 将作业提交到服务器，然后想在作业完成后在本地机器上分析结果。虽然我可以找到一种在服务器上提交分析作业的方法，但不知道如何在我的本地机器上运行该脚本。

但不是上面的，我想要类似的东西

我怎样才能完成上述任务？

非常感谢。

我在集群上运行 matlab。当我从集群上的交互式 matlab 会话运行我的 .m 脚本时，我的结果是可重现的。但是，当我从 qsub 命令运行相同的脚本时，作为阵列作业的一部分，远离我的监视，我得到了可信但无法重现的结果。.m 文件的作用完全相同，包括将结果保存为 .mat 文件。

任何人都知道为什么以一种方式运行脚本给出可重现的结果，而以另一种方式运行它们变得不可重现？

这仅仅是重现性的问题还是表明结果不准确？

%%%%% 感谢 spuder 的帮助。以防万一有人偶然发现并感兴趣，这里有一些进一步的信息。如果您在 Matlab 作业中使用多个线程，这可能会导致从其他作业中窃取资源，从而对结果造成严重破坏。因此，您有 2 个选项： 1. 选择对节点的独占访问。我正在使用的集群当前不允许并行阵列作业，所以这样做对我来说非常浪费 - 我拿了一个整个节点但串行使用它。2. 让 matlab 在 singleCompThread 上运行。这可能会使您的脚本需要更长的时间才能完成，但它会更快地通过队列获取作业。