问题标签 [lsf]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
109 浏览

load - lsload 可以以标准整数格式打印吗?

lsload -I io在 LSF 中使用来测量节点上的 IO 使用情况,如果 io 值高于 9999,它会变成科学格式,例如1e+04or 4e+04。有没有办法以整数(而不是科学)格式获取实际数字?

0 投票
1 回答
1067 浏览

python - Python 重定向 LSF 命令的输出

我正在尝试使用子进程在 python 代码中运行 LSF 命令“bjobs”,但无法将输出转换为变量

我已经尝试过但失败的方法如下:

我不想将其重定向到物理文件。

所以请帮我找到一种方法将它们直接捕获到变量中

0 投票
3 回答
6661 浏览

slurm - 是否有向 SLURM(类似于 LSF)提交许多工作的“单线”?

我可以向 SLURM 提交“单行”吗?

使用bsubLSF 和标准 Linux 实用程序xargs,我可以轻松地提交一个单独的作业来解压缩目录中的所有文件:


使用 SLURM,我认为srun或者sbatch会起作用,但无济于事:

bsub从 LSF中看到与SLURM 中的列表等效sbatch,但到目前为止,它们似乎仅等效于提交脚本文件:

有没有其他方法可以使用 SLURM 提交“单线”作业?

0 投票
2 回答
11999 浏览

slurm - 如何从 SLURM 获取详细的作业运行信息(例如,由 LSF 为“标准输出”生成的信息)?

bsub与 LSF 一起使用时,该-o选项提供了很多详细信息,例如作业开始和结束的时间以及作业占用了多少内存和 CPU 时间。使用 SLURM,我得到的只是在没有 LSF 的情况下运行脚本所得到的相同标准输出。

例如,给定这个 Perl 6 脚本:

提交如下:

结果文件test.o34380

和文件test.e34380


使用 LSF,我会在标准输出文件中获得各种详细信息,例如:

更新:

一个或多个-v标志可sbatch提供更多初步信息,但不会更改标准输出。

0 投票
1 回答
433 浏览

linux - Perl system()、exec() 和与 LSF 的交互

我有一个脚本必须启动 2 个独立的进程,并等到其中一个进程完成后再继续。

到目前为止,我已经通过使用if fork pid == 0, exec, else wait. 另一个是使用system命令行创建的。

现在我准备推出这个脚本以在平台负载共享设施(LSF) 上运行 400 次此类工作对流程的迭代,但我担心稳定性。我知道进程可能会崩溃。在这种情况下,我需要一种方法来了解进程何时崩溃,并终止其配对进程和主脚本。

最初我写了一个监视周期为 3 分钟的看门狗,如果 3 分钟不活动通过,它会杀死进程。然而,这引起了很多误报,因为当 LSF 暂停两个进程之一时,看门狗将它们视为不活动的。

在 LSF 中,当我发布作业时,我可以选择杀死它们。但是,当我杀死一个工作时,我到底要杀死什么?kill 会取消 Perl 脚本创建的两个进程吗?还是让他们像僵尸一样奔跑?

重申一下,

  • 杀死 LSF 队列上的作业也会杀死该作业创建的每个进程吗?

  • 从 Perl 脚本生成两个独立进程并等待其中一个进程退出再继续的最佳(最安全?)方法是什么?

  • 我如何编写一个看门狗来区分进程已经崩溃和被 LSF 管理员挂起的进程?

0 投票
1 回答
518 浏览

unix - 从几个并行的 LSF bsub 作业写入一个输出文件,避免同时写入

我开发了一个由两个文件组成的代码:一个“信封 bash 文件”,它做一些事情并写入一个日志文件,然后在某个时候运行到一个 for 循环中,它在其中执行一项工作一次使用 bsub。和“一个内部 bash 文件”,它获取日志文件的名称作为输入(除了其执行所需的其他输入值),并执行进程 X(使用它从“信封文件”接收到的输入值. 一旦进程 X 完成,“内部脚本”将进程 X(及其特定序列号)写入日志文件。

由于信封文件的 for-loop 循环了 10 次,因此至少有 10 个并行进程正在执行并并行运行,并且它们都在给定相同的日志文件名的情况下使用 bsub 执行。这个想法是,一旦他们完成了 Process X 的执行,他们都会向同一个日志文件报告。

一般过程运行良好,并且在每种情况下都在执行进程 X,并且日志文件根据需要累积有关进程 X 完成的所有通知。但是,在某些情况下,我们看到写入日志文件得到两条平行运行的干扰线和输出线相互碰撞。
我想以允许它一次仅从一个并行运行接收文本的方式锁定日志文件。这个想法是为了避免由于两个进程恰好同时写入日志文件而导致文本混合的情况。

这是我的信封文件中调用 bsub 的部分(我将内容减少到最低限度):

这是我的内部文件中回显到日志文件的部分:

我将不胜感激任何有用的解决方案!

0 投票
1 回答
854 浏览

lsf - 如何在 bsub 命令中处理引号和分号

我正在尝试使用 bsub 向 LSF 调度程序提交命令,但此命令包含一个必须引用的参数值并包含一个分号。

这是一个简单的命令来说明我的问题

它因“第 8 行:bar:找不到命令”而失败,所以我想我可以转义分号,但这

导致同样的错误,所以这样做

我知道我可以通过将命令写入脚本文件并将其作为 bsub 命令执行来解决它,但在这种情况下,我将测试一些参数,只修改 bsub 命令会更方便,而不是每次编辑一个shell脚本。

谢谢你的帮助!

0 投票
1 回答
448 浏览

command-line - 向 LSF 提交长命令的最佳实践

我正在使用bsubLSF 向集群提交作业。我的命令调用第三方软件并包含一长串文件以及其他参数(大约 8000 个字符)。

直接提交这么长的命令是否安全,或者它们会被截断?我应该将命令保存到文件然后调用bsub sh command.sh吗?

提交如此长的命令的最佳做法是什么。

谢谢

0 投票
1 回答
630 浏览

sockets - LSF 上的 MPI+OpenMP 作业提交脚本

我对 LSF 很陌生。我有 4 个节点,每个节点有 2 个套接字。每个节点有 8 个核心。我开发了混合 MPI+OpenMP 代码。我正在提交如下作业,要求每个核心执行一项 MPI 任务。所以我失去了 OpenMP 的力量。

我希望提交作业,以便每个套接字运行一个 MPI 任务而不是每个内核,以便套接字内的内核可用于 OpenMP。如何构建作业提交脚本以优化代码中的混合功能。

0 投票
1 回答
120 浏览

linux - 如何检索工作信息 LSF 存档

我们在 Linux 操作系统中通过 bsub 命令执行我们的工作申请。当作业完成时,从 LSF 存档中检索作业信息的命令是什么。我知道有像 bacct jobNo 这样的命令。但它不会检索信息。请帮忙。