问题标签 [lsf]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
bash - 在 bash 脚本中使用 bsub lsf 调用 bash 函数
我有一个我想要 bsub 的 bash 函数。当我尝试获取脚本时会递归调用它,但如果我不获取脚本,它似乎无法识别我的函数。如何在同一脚本文件中的函数上正确调用 besub?
我的脚本(应该打印“12345”):
linux - LSF - 为作业挂载 cgroups.cpuset
有没有办法将 cgroups.cpuset 与 lsf 一起使用?看起来我们只能将来自 cgroups 的 freezer 和 acct 与 LFS v9.1 一起使用。
mpi - 大规模运行的 LSF 问题
在我们的集群上,当我提交请求超过(包括)40 个节点或 640 个内核的作业时,$LSB_HOSTS 变空,因此作业停止。我使用这个变量来生成一个 nodelist 文件,我将它与 mpirun 命令行一起使用,如下所示:
这里有什么提示吗?
你能看出这个脚本有什么问题吗?
谢谢,
埃里克。
lsf - SLURM 显示未完成作业的标准输出和标准错误
我曾经使用带有 LSF 的服务器,但现在我刚刚过渡到带有 SLURM 的服务器。
SLURM 中 bpeek(用于 LSF)的等效命令是什么?
bpeek bpeek 显示未完成作业的标准输出和标准错误输出
我在任何地方都找不到文档。如果您对 SLURM 有一些好的参考资料,也请告诉我。谢谢!
lsf - 延长 USUSP 作业的运行时间限制
当我计算到一半时,我发现运行时限制 50:00 可能还不够。所以我使用 $bstop 1234 来停止作业 1234 并尝试将旧运行时 -W 50:00 修改为 -W 100:00 你能建议一个命令吗?
我试过了
根据
来自http://www.cisl.ucar.edu/docs/LSF/7.0.3/command_reference/bmod.cmdref.html
我不太明白语法,-Wn 是否意味着 Wall time new
非常感谢您的帮助!
xterm - 如何从 xterm 中检索 lsf 队列参数
假设我在不同的队列中启动了大量的 xterm。现在他们都把我的屏幕弄得乱七八糟,我已经失去了哪个是哪个。我想将 LSF 作业 ID 和请求的机器内存资源粘贴到 xterm 标题栏中。(我知道我可以在启动时做到这一点,但假设我已经将所有这些 xterms 放在我的桌面上,并且我想在事后将标题插入)
我可以使用它来将文本放入 xterm 标头:
我在想这样的事情:
我想从 bjobs 中得到的重要信息是:
- 机器尺寸(所以我知道我可以在那个 xterm 中启动哪些尺寸的作业)
- LSF 的作业 ID 让我知道如何杀死它。
示例我如何启动 xterm:
我从 bjobs 中得到的东西
谢谢,格特
python - LSF:提交一个使用多处理器模块的 Python 脚本*或*一次提交多个“预拆分”脚本?
我有一个任务要在 Python 中完成 X 次,我将使用 LSF 来加快速度。提交一份包含多个可以并行单独运行的 Python 脚本的作业,还是提交一个使用多处理器模块的 Python 脚本更好?
我的问题是我不相信 LSF 知道如何将 Python 代码拆分为多个进程(我不确定 LSF 是如何做到的)。但是,我也不希望有几个 Python 脚本四处飘荡,因为这看起来效率低下且杂乱无章。
手头的任务涉及解析六个非常大的 ASCII 文件并将输出保存在 Python dict 中以备后用。我想并行解析这六个文件(每个文件大约需要 3 分钟)。LSF 是否允许 Python 告诉它类似“嘿,这是一个脚本,但你要把它分成这六个进程”?LSF 是否需要Python 来告诉它,还是它已经知道如何做到这一点?
如果您需要更多信息,请告诉我。我很难在“刚刚好”和“太多”的背景之间取得平衡。
cluster-computing - OpenMP 线程如何映射到作业调度程序分配的特定内核(例如:LSF)?
当程序与作业调度程序一起运行时,调度程序会为作业分配n 个处理器内核(由用户指定)。当使用 OpenMP 的程序运行时,OpenMP 通常会使用OMP_NUM_THREADS个线程,为简单起见,我们会说每个线程都映射到不同的处理器内核。
OpenMP 不知道调度程序 (afaik) 为程序/作业分配了哪些内核。此外,操作系统是将 OpenMP 线程实际映射到内核的操作系统,而不是 OpenMP。
我的问题是:幕后发生了什么,使得 OpenMP 线程只映射到作业调度程序分配给作业的核心?
我希望我的问题是一般性的,但如果作业调度程序的过程确实不同,那么特定于 LSF 的答案将是最好的。
perl - 从 perl 脚本运行 bsub 命令
我正在尝试通过以下方式从 perl 脚本运行 bsub 命令:
但我认为 perl 会因为"testid::1"
. 实现这一点的正确方法是什么?
mpi - lsf 集群上的 mpi 作业提交
我通常处理大学集群上的数据。之前完成的大多数作业都是基于并行批处理外壳(将作业分成几个批处理,然后并行提交)。该外壳的示例如下所示:
这一次,我正在测试一些 mpi 工作(基于 mpi4py)。该代码已在我的笔记本电脑上进行了测试,该笔记本电脑处理单个任务(1 个任务使用 4 个处理器运行)。现在我需要在集群上提交多任务(30 个)作业(1 个任务使用 8 个处理器运行)。我的设计是这样的:上面准备30个类似的shell文件。每个 shell 填充中的命令是我的 mpi 命令(类似于“mpiexec -n 8 mycode.py args”)。每个shell预留8个处理器。
我提交了工作。但我不确定我是否做得正确。它正在运行,但我不确定它是否基于 mpi 运行。我该如何检查?这里还有2个问题:
1)对于正常的并行作业,通常我可以为单个任务保留一个限制数量——16。超过16,我从来没有成功过。如果我使用 mpi,我可以保留更多吗?因为mpi不同。基本上我不需要连续记忆。
2)我认为集群上有一个优先级规则。对于正常的并行作业,通常当我为 1 个任务(例如 10 个任务和每个任务 16 个处理器)保留更多处理器时,与为单个任务保留较少处理器(例如将每个任务分成 8 个子任务)相比,它需要更多的等待时间在队列中-tasks(总共 80 个子任务)和每个子任务 2 个处理器)。如果我可以为 mpi 保留更多处理器。它会影响这个规则吗?我担心我会永远等待......