问题标签 [pbs]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hpc - 完成 PBS 作业所需的时间
在我可以访问的 PBS 系统上,我正在使用该-W x=NACCESSPOLICY:SINGLEJOB
标志运行一些作业,而且,有趣的是,如果不添加此标志,相同的作业似乎需要多 10% 的时间。这是正确的行为吗?如果是这样,我会感到惊讶,因为我曾认为拥有对整个节点的唯一访问权会稍微减少由于访问更多内存而运行作业所需的时间。
http - 如何将扭矩和 html 结合起来,例如 ncbi blast 服务?
我使用 php 向扭矩(pbs)提交作业,它(扭矩)生成输出为:“此帐户当前不可用。”
我认为它引用了运行 httpd(apache) apache 的帐户是一个“/sbin/nologin”帐户
我想要的只是制作一个可以向 pbs 提交作业并获得结果的 html。 这种方法是不是错了,我没有找到其他解决方案(可能是我不知道谷歌哪个关键字)。
感谢帮助
我在这里找到了解决方案:http: //geertvandeweyer.zymichost.com/index.php ?page=read&id=9
在调试阶段,setenforce 0,setenforce 1 可能有助于调试(有时 audit.log 更新缓慢,需要执行“setenforce 0;setenforce 1;”) setsebool -P allow_httpd_mod_auth_pam 1 可能有帮助
unix - 杀死一个 Unix 压缩进程
我在 PBS 集群上使用 xz 压缩实用程序;我刚刚意识到我为压缩作业所允许的时间不够长,因此想重新启动它们(然后,大概我需要包含已经创建的 .xz在新的存档文件中?)。杀死工作是否安全,或者这可能会破坏已经创建的 .xz 文件?
hadoop - 批处理系统上的 Hadoop 作为用户进程
我见过 Hadoop-on-Demand,以及 SGE 上的 Hadoop 集成。我的理解是这需要管理员权限,而我在工作中的大型集群上没有。管理员忙得不可开交,几个月都无法设置我们。
我认识到瞬态虚拟集群对 HDFS 实用程序的限制。我也了解使用 luster 文件系统是如何违反规定的,但是有没有人编写过 SGE 或 Torque (PBS) 脚本来向启动 hadoop 实例的集群提交作业?
python - 使用 Python 在父文件夹中启动 qsub 失败
我正在创建一个 Python 脚本来在远程计算集群上设置一系列计算。但是我遇到了一个问题。
远程服务器上的计算使用以下命令开始:
Run.sh 位于文件夹 ./sol/
如果我输入 ./sol/ 并运行:
每件事都像它应该的那样工作。但是,如果我位于 ./ 并运行此命令:
qsub 失败并显示此错误消息:
有人知道为什么吗?我使用 python 2.5.1 和 unix 2.6.18
bash - 直接传参数给pbs脚本
有没有办法在提交作业之前直接将参数传递给 .pbs 脚本?我需要遍历由不同数字表示的文件列表并应用脚本来分析每个文件。
我能想到的最好的方法如下:
其中 pass_test.pbs 是以下脚本:
但这感觉有点不靠谱。特别是,我想避免必须创建一个环境变量来处理这个问题。
pbs - 使用 qstat 命令从 Torque PBS 服务器获取“不允许从主机访问,或未知主机”
我正在尝试运行命令qstat
,但没有得到队列状态,而是看到了这个错误:
无法解析默认服务器主机 'torqueserver' - 检查 server_name 文件。qstat: cannot connect to server torqueserver (errno=15010) Access from host not allowed, or unknown host
我该如何解决?
pbs - 查看 pbs 作业当前使用的内存量
我知道我可以看到一个 pbs 作业使用 qstat 请求了多少内存,但是有没有办法查看该作业当前使用了多少内存?
谢谢!
shell - 计算模型运行的 ID
我正在 PBS 系统上运行一些阵列作业(尽管希望不需要 PBS 系统的知识来回答我的问题!)。我有 24 次运行,但我想将它们分成 5 个子作业,所以我需要运行我的脚本 120 次。
在给出 PBS 选项后-t 1-120
,我可以使用$PBS_ARRAYID
. 但是,我想创建一些输出文件。最好这些输出文件使用只有 24 次运行时的 ID 以及子运行标识符(例如 output-1a.txt、output-1b.txt ... output-1e。 txt,输出 2a.txt)。
因此,我需要一种计算方法来获取 ID(在 1-24 范围内)以及子运行标识符(可能在一组 if 语句中),它可以在 shell 脚本中使用. 不幸的是,我的数学和 Unix 知识都不足以解决这个问题。我假设我需要与基于当前$PBS_ARRAYID
相对于 120 或 24 的商/余数有关,但据我所知……
monitoring - 在集群中运行和监控作业的工具
我们得到了这两个集群,每个集群有 8 个节点,我们正在寻找一个好的集群框架,它允许我们启动作业,有一个具有不同调度策略的内置调度程序和一个带有 Web 前端的监控系统。每个节点都在 Ubuntu 11.04 上运行。商业和开源都可以。
我看到的其中一些是 TORQUE 和 MAUI。(不确定它是否有用于监控的 Web 前端)SLURM 和 MAUI。GEXEC 和 GANGLIA。(没有调度程序)
您会推荐哪些产品?使用像 MOSIX 这样的集群操作系统而不是工具有什么优势吗?