问题标签 [pbs]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
bash - 递归 Grep 真的更好吗?如何改进基于 PBS 的 Bash 脚本?和其他问题
我在一个研究小组工作,我们使用 PBS 排队系统。我不是 PBS 大师,但我想编写脚本搜索是否有作业正在运行。为此,我首先使用 qstat 调用的结果作为 qstat -f 的参数来获取所有作业的字符串,然后获取所有作业的详细列表并在其中搜索提交的文件路径。当前的kludge如下
改进建议?
另外,有人告诉我 $() 比 `. 但是当我尝试时:
...我的程序失败了。为什么是这样?我是否误解了如何使用 $() 嵌套 shell 调用?还是与我将队列作业列表从 qstat 传递到 qstat -f 的方式有关?我是否应该使用 awk 或其他东西从 qstat 命令中获取作业,然后以某种方式将它们作为 args 传递给 qstat -f?
我还应该使用递归grep吗?有些人告诉我它“更理智”,但我不确定这意味着什么。是不是更便携?它更快吗?它需要更少的治疗师旅行吗?
你应该使用它的原因是什么?
bash - 当我的 qsub 作业在服务器上完成时,如何自动运行 bash 脚本?
当我发送到服务器的所有作业都完成后,我想运行一个脚本。
例如,我发送
我得到了一份已经开始的工作清单。一旦完成,我想在服务器上自动启动另一个脚本来处理这些作业的输出。
如果有任何建议可以帮助我避免以下不雅的解决方案,我将不胜感激:
如果我将上述调用中的 1000 个作业 ID 中的每一个保存在一个单独的文件中,我可以根据当前正在运行的作业列表检查每个文件的内容,即来自调用的输出:
我只需要每半小时检查一次,但我想有更好的方法。
c - PBS 集群 Hello World 上的 MPI
我正在使用 mpiexec 运行几个 hello world 可执行文件。它们每个都运行,但进程数始终为 1,看起来应该有 4 个进程。有人明白为什么吗?另外我不确定为什么 stty 给我一个无效的论点。谢谢!
这是输出:
这是c文件:
这是提交脚本:
bash - bash中的matlab批处理并行化
我正在尝试在大型计算机集群上运行一段代码,以分析数据的不同部分。
我创建了 2 个循环来将作业分配给不同的节点以及节点包含的 cpu。我编写的分析函数“chnJob()”只需要一个索引就可以知道它需要分析的数据的哪一部分(在这种情况下是称为“chn”的shell变量)。
循环是这样的:
即使我看到 chn 变量正在正确递增,但传递给 matlab 函数的 chn 值始终是 chn 的最后一个值。
这可能是因为 matlab 需要花费大量时间在每个节点上打开并且 bash 到那时才完成循环。所以传递给每个 matlab 实例的值只是最后一个值。
有没有办法绕过它?我可以在调用函数时“烘焙”该变量的值吗?
还是问题完全不同?
pbs - 在哪里询问 PBS/扭矩配置问题?
我注意到关于 PBS 的几个关于 SO 的问题都没有得到解答。有没有更合适的论坛来问这些问题?例如:
我真正的问题:我的 PBS 配置有问题。我有一台计算机,我已经设置了扭矩,这样我就可以提交数百个工作而不必照看它。但是我不知何故弄乱了配置,因为我提交了三个作业,总共需要四个 cpu:
现在这三个都在运行!即使我已经设置:
资源_max.ncpus = 3
对于队列——因为我有一个四核,我想为操作系统保存一个处理器。在 qmgr 中,它还报告:
资源分配.ncpus = 3
到底是怎么回事?!?很明显,我已经搞砸了一些东西。这是合适的论坛吗?我应该在 Unix/Linux 上问一遍吗?还是 Ubuntu(这是我的操作系统)?
r - 使用 PBS 提交 R 作业
我正在提交使用qsub
运行并行 R 的作业。我的目的是让 R 程序在 4 个不同的内核而不是 8 个内核上运行。PBS
以下是我在文件中的一些设置:
我正在发出命令ta job_id
,我看到列出了 4 个内核。但是,作业占用大量内存(31944900k used vs 32949628k total)
。如果我使用 8 个内核,作业会由于内存限制而挂起。
这是发出命令时的快照ta job_id
如何防止其他用户使用其他 4 个内核?我喜欢以某种方式掩盖我的工作是使用 8 个内核和 4 个内核空闲。
有人可以帮我解决这个问题吗?这可以用pbs解决吗?
非常感谢
bash - 通过 grepping qstat 输出并将 jobid 发送到 qdel 来删除作业?
我在集群上使用 PBS 作业调度程序,我想使用 ; 删除早于某个日期的作业qdel
;或者,能够qstat
按日期对结果进行排序就足够了。
qstat
给出这个输出:
我可以删除作业qdel
:
我想删除的工作可以使用grep
:
我目前的工作是将上面的输出粘贴到电子表格中,按作业 ID 排序,然后qdel {min..max}
,
我可以将这些步骤组合成一个命令吗?
协助表示赞赏。
parallel-processing - 帮助“hello world”pbsdsh
我想测试pbsdsh
在我的系统中是否有效。我使用以下程序
我正在使用带有两个 64 位四核 Intel Xeon(24 个计算节点)的 linux 服务器
然后我发出命令
我收到以下错误消息try.sh.e2013
此错误消息具有误导性,因为pbsdsh
系统中确实存在此错误消息。
谁能帮我解决这个问题?
谢谢
cluster-computing - 通过 PBS 编程
我想在多个节点上安排一个程序,我该怎么做。我是编程新手,所以我得到了一些关于 PBS 的提示。我怎样才能用下面的方法来做。提前致谢
performance - 捕获集群的性能
我有一个包含 10 个节点的集群,所有这些节点都具有相似的操作系统(ubuntu 10.4)。我想监控每个节点的性能,基本上在给定时间捕获 CPU、内存等。我如何在每个节点上捕获相同的并聚合结果得到组合结果示例整个集群的平均 CPU 使用率。
是否有任何命令我可以运行并获得结果。
提前致谢。