问题标签 [torque]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
188 浏览

http - 如何将扭矩和 html 结合起来,例如 ncbi blast 服务?

我使用 php 向扭矩(pbs)提交作业,它(扭矩)生成输出为:“此帐户当前不可用。”

我认为它引用了运行 httpd(apache) apache 的帐户是一个“/sbin/nologin”帐户

我想要的只是制作一个可以向 pbs 提交作业并获得结果的 html。 这种方法是不是错了,我没有找到其他解决方案(可能是我不知道谷歌哪个关键字)。

感谢帮助

我在这里找到了解决方案:http: //geertvandeweyer.zymichost.com/index.php ?page=read&id=9

在调试阶段,setenforce 0,setenforce 1 可能有助于调试(有时 audit.log 更新缓慢,需要执行“setenforce 0;setenforce 1;”) setsebool -P allow_httpd_mod_auth_pam 1 可能有帮助

0 投票
1 回答
852 浏览

hadoop - 批处理系统上的 Hadoop 作为用户进程

我见过 Hadoop-on-Demand,以及 SGE 上的 Hadoop 集成。我的理解是这需要管理员权限,而我在工作中的大型集群上没有。管理员忙得不可开交,几个月都无法设置我们。

我认识到瞬态虚拟集群对 HDFS 实用程序的限制。我也了解使用 luster 文件系统是如何违反规定的,但是有没有人编写过 SGE 或 Torque (PBS) 脚本来向启动 hadoop 实例的集群提交作业?

0 投票
1 回答
5180 浏览

torque - 使用 qsub / 扭矩提交作业时排除某些节点?

使用 qsub 提交批处理作业时,有没有办法排除某个节点(按主机名)?

就像是

0 投票
1 回答
4885 浏览

pbs - 使用 qstat 命令从 Torque PBS 服务器获取“不允许从主机访问,或未知主机”

我正在尝试运行命令qstat,但没有得到队列状态,而是看到了这个错误:

无法解析默认服务器主机 'torqueserver' - 检查 server_name 文件。qstat: cannot connect to server torqueserver (errno=15010) Access from host not allowed, or unknown host

我该如何解决?

0 投票
1 回答
255 浏览

hadoop - 与 Hadoop 共享集群

是否可以设置 Hadoop 使其与集群上的其他应用程序很好地配合使用?

我熟悉 Torque+Maui 资源调度器,并且熟悉使用 HadoopOnDemand 来配置临时 Hadoop 集群。但是,如果很多人都想使用 Hadoop,这会变得相当麻烦:每个人都同样为设置和拆除自己的迷你 hadoop 集群、在自己的 HDFS 上复制数据等而头疼。

如果我们可以拥有一个永久运行的 Hadoop 实例供人们共享,并且 HDFS 始终处于运行状态,那就更酷了。这需要 Hadoop 智能地将工作分配给不忙于其他应用程序(例如 R)的节点,并且在排队工作时不要贪婪。

这可能吗?

0 投票
4 回答
4587 浏览

parallel-processing - PBS,刷新标准输出

我有一个长期运行的 Torque/PBS 工作,我想监控输出。但是只有在作业完成后才会复制日志文件。有没有办法说服 PBS 刷新它?

0 投票
0 回答
289 浏览

java - 如何检测Java中经过的进程时间,不包括任何进程一直在休眠的时间

我正在开发一个 Java 程序,它启动一个子进程,通过标准输出接收数据并执行一些计算,这个过程会重复。我在一台超级计算机上运行这个程序,它使用与 Torque 相关的 PBS,它具有一些特殊的调度功能,可以定期挂起作业,以最大限度地提高系统利用率。

我在执行过程中遇到的一个问题是我的子进程神秘地挂起(原因目前未知),导致 Java 等待永远不会到达的响应。我想做的是监视这个进程并强制执行时间截止,即,如果进程运行了不寻常的时间,则死亡并抛出某种错误,让我知道发生了这种情况。

通常,我会使用 Apache commons exec watchdog 来执行此操作。但我担心这项工作暂停的任何时间都会导致这个截止(假设它使用开始和结束 System.currentTimeMillis() 之间的差异)。Apache commons exec watchdog 会因此受到影响吗?有没有办法在经过时间计算中排除任何暂停时间?

0 投票
2 回答
14024 浏览

mpi - 在 open-mpi/ mpi-run 中加载共享库

我正在尝试使用 mpi run 使用扭矩调度程序运行我的程序。虽然在我的 pbs 文件中我加载了所有库

但它给出了错误,即

我猜错误在于变量 LD_LIBRARY_PATH 未在所有节点中设置。我将如何使它工作?

0 投票
2 回答
3102 浏览

2d - 我应该使用什么 2D 游戏引擎?

我正在寻找一些关于我应该使用什么游戏引擎的建议。我已经在 Flash(我非常熟悉的一个引擎)中制作了一个游戏原型,并且我想更进一步,我对 Flash 的主要问题是它不够快 - 没有访问 GPU 我在没有所有的情况下挑战极限游戏玩法功能齐全。

这是我正在寻找的: -2D 游戏引擎 - 免费或合理的独立定价 -Javascript、c# 或类似语言 - 体面的社区和文档 - 功能强大 - 能够访问 GPU/充分利用 GPU - 能够发布到 Mac /Windows - linux 和控制台是额外的,但不是必需的 - 体面的 IDE/引擎接口

我现在只是在玩 Torque 2D,我喜欢它,但缺点是 TorqueScript 类似于我不熟悉的 C++。我也不确定它有多强大。

我也很喜欢使用 Unity,但这是一款 2D 游戏,我不喜欢在 3D 引擎中制作 2D 游戏。

希望你们有一些好的想法?

0 投票
2 回答
2040 浏览

c++ - 如果可执行文件在两个或多个节点上运行,为什么不能看到环境变量?

我正在使用 MPI 在 C++ 中编写一个程序(我将其称为“启动器”),以“生成”第二个可执行文件(“从属”)。根据集群有多少节点可供启动器使用,它将在每个节点上启动从属服务器,从属服务器也将通过 MPI 与启动器进行通信。当从节点完成其数学运算后,它会告诉启动器该节点现在可用,并且启动器将另一个从节点派生到空闲节点。关键是在一组异构机器上运行 1000 次独立计算,这些计算取决于第二个可执行文件。

这是在我自己的计算机上工作的,在那里我创建了一个“假”机器文件(或主机文件),为程序提供了两个节点:localhost 和 localhost。启动器生成两个从站,当其中一个结束时,启动另一个从站。这告诉我产卵过程正常工作。

当我将它移动到我实验室的集群时(使用扭矩/maui 来管理它),如果我要求 1(一个)节点,它也可以工作。如果我要求更多,我会收到一个缺少库的错误(准确地说是 libimf.so。来自英特尔编译器的库)。lib在那里,节点可以看到它,因为如果我只要求一个节点,程序就会运行。

我的 PBS 看起来像这样:

当我尝试两个或更多节点时,启动器不会生成任何可执行文件。我得到这样的输出:

我在邮件列表中发现了另一个人的问题,例如我的问题,但没有解决方案。(http://lists.mcs.anl.gov/pipermail/mpich-discuss/2011-July/010442.html)。唯一的答案建议尝试查找节点是否可以看到 lib(如果存储 lib 的目录已安装在节点上),所以我尝试了

ssh node2 ls /opt/intel/composerxe-2011.3.174/compiler/lib/intel64/libimf.so >> $log_file

在我的 PBS 脚本中,并且 lib 存在于节点可以看到的文件夹中。

在我看来,torque/maui 似乎没有将环境变量导出到所有节点(即使我不知道为什么它不会),所以当我尝试使用 MPI_Spawn 在另一个节点中运行另一个可执行文件时,它找不到库。这有任何意义吗?如果是这样,你能提出一个解决方案吗?任何人都可以提供任何其他想法吗?在此先感谢,马塞洛

编辑:

按照其中一个答案中的建议,我安装了 OpenMPI 以使用 mpiexec 测试选项“-x VARNAME”。在 PBS 脚本中,我将执行行更改为以下内容:

但收到以下错误消息:

从互联网上,我可以收集到这个错误通常来自多次执行 mpiexec,比如/path/to/mpiexec mpiexec -n 2 my_program我的情况一样。

我相信我应该补充一点,生成的“从属”程序使用端口与“启动器”程序通信。启动器使用 MPI_Open_port 和 MPI_Comm_accept 打开一个端口,然后在从属程序运行 MPI_Comm_connect 时等待从属程序连接。

就像我上面所说的,当我只要求一个节点时,所有这些都有效(使用 MPICH2)。使用 OpenMPI,即使我只要求一个节点,我也会收到上述错误。