问题标签 [lsf]

我正在使用 BatchJobs 运行一个最小示例，结果与预期不符。我正在使用global_config 设置，debug=TRUE。我在我的 HPC 服务器上的 R 中运行以下代码：

如果我运行 batchMap(reg, identity, 2) 结果是-1，而使用 batchMap(reg, identity, 3) 结果是-2。任何想法为什么会发生这种情况？标识函数应该只返回参数（因此对于上面的代码，它应该是 1）。我发现其他功能也有同样的问题。例如，如果我将 mean(rnorm(100, mean=100)) 用于发送到 batchMap 的函数，我最终会得到大约 -99 的结果。如果我在多个节点上运行它，每个节点的结果大约是 -100 + 节点数（所以第 5 个节点的结果大约是 -95）。

我正在使用 IBM LSF 并尝试在某个时间段内获取使用情况统计信息。我发现可以bhist完成这项工作，但简短的bhist输出并没有显示我需要的所有字段。

我想知道的是：

1. bhist 的输出字段可以自定义吗？我需要的字段是：

   • <工作编号>
   • <用户>
   • <队列>
   • <工作名称>
   • <项目名称>
   • <job_description>
   • <提交时间>
   • <待定时间>
   • <运行时间>

2. 如果1不可能，长格式 ( bhist -l) 输出会显示我需要的所有内容，但格式很难操作。我粘贴了以下格式的示例。

例如，记录之间的行数不是固定的，每个事件中的自动换行可能会在我试图扫描的单词中间中断行。如何使用sedand解析这种格式awk？

我正在使用以下 bash 文件将 matlab 作业提交到集群，

假设文件名是mat.bash，那么我使用命令

向集群提交一个作业。bash 文件的最后一行包含一个函数

在这个函数中，model将有 4 个备选方案，而day将有 200 个备选方案，这意味着我有 4 X 400 = 800 个作业要提交到集群，每个作业将运行大约 16 个小时。

提交800个职位最方便的方法是什么，而不是一一提交？

目标是让多个作业可以同时在集群上运行，不需要等待一个作业完成而不是启动另一个作业。

提前致谢！

有没有办法收集 bsub 启动的作业的退出代码？

例如：有一个由 bsub 启动的脚本 test.sh（test.sh 包含几个依次启动的二进制文件）。

我正在寻找一种方法来获取 bsub 启动的二进制文件的退出代码？

谢谢！

我的目标是重复运行一个 R 脚本，每次都使用一组不同的参数。

为此，我一直在使用 bash 脚本通过循环输入文件将命令行参数传递给 R 脚本，其中每一行包含 7 个参数的不同组合。

输入文件如下所示：

传递命令行参数的 R 脚本的开头是这样的：

读取这些并分派 R 脚本的 bash 循环如下：

但是，问题是 Input.txt 中有数百万行，所以这种方法太慢了（它会阻止其他 LSF 用户提交他们自己的作业）。

那么，问题是，如何使用 LSF 数组来完成上述操作？

bsub我想使用该命令向 LSF 提交作业。工作参数之一是“ -P argument_1”。所以整体命令看起来像

但bsub考虑-P argument_1为 的project_name而不是考虑为 的一个论点my_job。

有没有办法解决这个问题？

简而言之，问题陈述：LSF 中有没有办法将信号 SIGCONT/SIGTSTP 传递给在作业中运行的所有进程？

我有一个在 LSF（版本 9.1.2）上运行的 Perl 包装脚本，并在与 Perl 脚本相同的 LSF 机器上启动一个工具（源不可用）。

该工具启动 2 个进程，一个用于许可证管理，另一个用于执行实际工作。它还支持向两个进程发送 SIGSTSP/SIGCONT 将释放/重新获取许可证的选项（这是我希望实现的）。

运行bkill -s SIGCONT <JOB_ID>只会恢复工具进程而不是许可进程，这是一个问题。

我试图查看是否可以将信号发送到 Perl 脚本自己的 PGID，但是许可证进程启动了它自己的进程组。

欢迎任何关于通过 Perl 或 LSF 选项前进的建议。

谢谢， 阿布舍克

我们有一个具有 32 个计算节点的 IBM HPC 4.2。我们确实编译并安装了支持 lsf 的 Openmpi 1.10.1。

问题：当我们在 lsf 下使用 IBM MPI（与平台集成的 MPI 或 PMPI）和 Openmpi 时，我们的行为有所不同。

示例：我确实使用两种实现编译了 hello_world.c mpi 示例，当我在没有 lsb（没有 bsub）的情况下启动执行时，我得到了

PMPI：mpirun -np 4 -hostlist "compute000 compute001" ./hello_world_pmpi.exe

你好世界！我是 compute000 上 4 人中的 1 人

你好世界！我在 compute001 上是 2 of 4

你好世界！我在 compute001 上是 3 of 4

你好世界！我在 compute000 上是 0 of 4

开放式：mpirun -np 4 --host "compute000,compute001" --mca btl self,sm --mca mtl psm ./hello_world_ompi.exe

你好世界！我是 compute000 上 4 人中的 1 人

你好世界！我在 compute000 上是 2 of 4

你好世界！我在 compute001 上是 3 of 4

你好世界！我在 compute001 上是 0 of 4

这是逻辑，但是当我使用 lsf 时，事情会随着 PMPI 而改变，这更奇怪！！！！我得到

PMPI：bsub -n 4 -R "span[ptile=2]" -o pmpi-%J.out mpirun ./hello_world_pmpi.exe

猫 pmpi-xxx.out ...

你好世界！我在 compute017 上是 0 of 1

欧派：bsub -n 4 -R "span[ptile=2]" -o ompi-%J.out mpirun --mca btl self,sm --mca mtl psm ./hello_world_ompi.exe

猫 pmpi-xxx.out ...

**你好世界！我是 compute005 上 4 人中的 1 人

你好世界！我是 compute010 上 4 中的 2

你好世界！我在 compute010 上是 3 of 4

你好世界！我在 compute005 上是 4 中的 0 **

似乎只启动了一个 PMPI 实例，而不是 4 个。

我对 IMB（英特尔基准测试）和 HPCC 有同样的问题，他们抱怨缺少进程，没有 lsf 他们都可以正常工作，使用 lsf，只有 openmpi 可以正常工作。

任何想法？

提前致谢

我正在尝试用 python 编写一个简单的任务管理器，用于在 LSF 集群中运行大量作业。我一直试图确定（在 python 脚本中）给定用户的正在运行的作业数量。在命令行上，这将来自 command bjobs。

IBM为 LSF C API提供了一个 python 包装器。使用他们的一个示例和我在网上找到的 C API 副本中的一些文档，我已经能够拼凑出以下脚本。

该变量user_info具有属性'numPEND'、'numRESERVE'、'numRUN'和'numStartJobs'，但所有这些属性均为 0。即使bjobs报告正在运行的作业，它们也保持为零。

谁能告诉我在上面的代码片段中可能做错了什么？我已经多次阅读 C 和 python 文档，但找不到错误。

我想使用 Bourne shell 背景 & 作为 ONE bsub 执行命令的一部分。

请注意，我不想使用 .bash 文件，而是使用一个 bsub 命令行来执行整个过程。

请注意，我也不想将我的 bsub 内容拆分为几个相互等待的 bsub 命令，而是将一些内部 unix 命令包装到一个 bsub 命令行中，这些命令使用 Bourne shell 背景与号相互等待.

以下尝试仅产生了第一个内部命令（liftOver 命令）的输出，但 sort 和 mv 均未执行。

在 bsub 之外，这个过程可以写成如下：