问题标签 [sungridengine]

我的应用程序通过作为共享对象 libdrmaa.so 的 API DRMAA 使用 Sun N1 网格引擎。
我正在使用 dlopen 和 dlsym 来访问库的功能。这很好用。现在，如果我尝试从命令行链接它，可执行文件已构建但执行它会给出错误“无法打开共享对象文件”。
任何人都可以提出可能是什么原因。
我正在使用 g++ 2.95.3 进行编译，机器是 linux x86_64。

谢谢

我有一个由用 C++ 编写的不同模块组成的应用程序。
其中一个模块用于处理 SunGrid Engine 上的分布式任务。它使用 DRMAA API 来提交和监控网格作业。如果客户端不支持网格，则应使用本地计算机

API libdrmaa.so 的共享对象在编译时链接并在运行时加载。
如果使用我的应用程序的客户端有这个“.so”一切都很好，但如果客户端没有那个，应用程序退出加载共享库失败。
为了避免这种情况，我将 API 调用替换为使用 dlsym() 和 dlopen() 获得的函数指针。现在，如果对 dlopen 的调用没有成功并且我的目标已经实现，我可以使用本地计算机而不是网格。
现在的问题是应用程序现在可以成功运行小型测试用例，但是对于较大的测试用例，它会引发分段错误，而使用动态加载的相同代码可以正常工作。

使用 dlsym() 和 dlopen() 时我是否遗漏了什么？
有没有其他方法可以实现相同的目标？

任何帮助，将不胜感激。

谢谢，

我有一些在 Rocks 集群上运行的遗留科学代码，使用 SGE。我有一个特定于应用程序的作业提交脚本，它生成 qsub 脚本（即 Sun Grid Engine 采用并运行的脚本）。

在 qsub 脚本中，我的旧版应用程序被调用。此应用程序将其输出发送到 STDOUT。SGE 截获 STDOUT 并将其假脱机到用户主目录中的一个文件中，因此用户可以实时查看结果。我希望保持这种行为，但同时，我想在后台透明地记录所有输出。我认为 tee 非常适合实现这一目标。

所以我修改了作业提交脚本以运行应用程序并将 STDOUT 传输到 tee，它将 STDOUT 保存到一个文件中，一旦作业完成，该文件就会复制到中央存储中。该应用程序运行并通过管道传输到 tee，如下所示：

问题是，自从我开始将代码传送到 tee 后，该应用程序一直因 SIGTERM 而死，尤其是当我请求多个节点时。我尝试将 -i（忽略中断）参数与 tee 一起使用：它没有区别。

如果我将应用程序输出重定向到一个文件，然后在应用程序完成后对文件进行 cat 处理，那么一切正常，但是我不能让用户实时查看结果累积（这是一个重要的要求）。

关于为什么使用 tee 可能会失败的任何想法？或者，关于我如何实现所需功能的任何想法？

我正在尝试确定我们是否应该在工作中试用 Condor 或 Sun Grid Engine（或者可能是其他东西）。

我们经常有很多未使用的 WinXp 工作站。希望我们可以使用 LAN 唤醒，运行我们所有的作业，然后自动关闭。我们主要为蒙特卡罗或参数探索运行 Matlab、Java 或 Python 模拟。

由于我对 Condor 的了解有限，听起来使用 vm Universe 可能是一种无需修改现有代码即可处理快照的便捷方式。

SGE 或其他东西比 condor 更适合这种工作吗？

我正在使用 Sun Grid Engine (SGE) 运行阵列作业。

我精心编写的数组作业工作人员在正常运行时不会生成标准输出和标准错误。不幸的是，SGE 坚持为每次运行创建一个空的 stdout 和 stderr 文件。

Sun的手册指出：

如果输出文件为空，我希望抑制输出文件。有没有办法做到这一点？

sun Grid 引擎默认为 csh，您必须将此：#$ -S /bin/sh放入脚本中以避免它。什么全局配置设置会改变这个默认值？

我对 SungridEngine 和 MPI（使用 OpenMPI）有一点经验。这些框架/API 和 JPPF 有什么不同？

有人知道哪个资源管理器适合 PVM 吗？或者我不应该使用 PVM 而是依赖 MPI（或它的任何版本，例如 MPICH-2 [还有其他更好的吗？]）。使用 PVM 的主要原因是因为我之前开始这个项目的人假设使用 PVM。然而，既然这个项目是我的（他没有做过任何依赖 PVM 的重要工作），这可以很容易地更改，最好是易于安装的东西，因为安装和设置 PVM 是一个很大的麻烦。

我倾向于 SunGridEngine，因为我是如何拥有专用硬件的，并且在阅读了另一篇关于哪些更适合专用硬件的帖子后，SGE 似乎是赢家。但是我不确定它使用 PVM 的性能。想知道是否有人对 PVM 和 SGE 有任何经验？

如果人们使用 SGE，您使用什么来从计算机到计算机（或虚拟机到虚拟机）进行通信

哦，如果这很重要，我将运行 Perl 应用程序/行。

有什么建议或想法吗？

提前感谢所有评论，

• 秋格

我有一个 python 脚本，它向 SGE（Sun Grid Engine）提交作业。作业完成后，我想访问从 SGE 作业生成的输出文件。我在目录中看到“ls”文件已经存在并且工作已经完成，但是python需要大约20-30秒才能访问该文件......

有没有办法更快地检测新创建的文件？

我的问题是“需要时间访问文件”或“文件不存在”之间的区别

我试过： os.path.exist(path) os.access(path,os.R_OK)

没有解决我的问题=(

有没有办法在 中指定ppn（或等效的）SGE？我不想在一个节点中使用所有 cpu，所以我将能够在每个核心上拥有更多内存。（在 PBS 中你会做-l nodes=16:ppn=2的例子）

谢谢。