问题标签 [lsf]

我正在使用该BatchJobs软件包。我有一个data.table我正在尝试迭代并提交作业的列表。但是，我收到以下错误消息：

每个data.table大约有 7,000 行和 6 列。我似乎无法理解为什么这会太大而无法序列化。每次搜索都会以 2^31 - 1 的数字作为限制。这是一个例子：

编辑：等待更多调查。这似乎是使用相同的确切数据出现的错误。试图了解其他环境变量正在发生哪些变化。

如何要求 LSF 立即分配/执行我的工作而无需等待？

我很少有有时限的工作，我希望它们立即执行或立即终止。有没有办法做同样的事情？

我有一个要求，我需要限制用户重复使用他们正在使用的前 3 台 exec 机器，以减少我们工具的许可证使用。

因此，假设用户在任何时候都在使用 3 台机器 - mac1、mac2、mac3。现在，如果他要开展一项新工作，预计他将重新使用已经在使用的三台机器中的一台。

到目前为止，我希望我的要求很明确。如果您有任何疑问，请提示我

现在，我的目标是设计一种算法来决定哪台机器是最好的机器。我需要以下输入来设计算法：-

1. mac1,2,3 中，可以使用哪些参数来决定哪台机器最适合执行作业。

其他要求也很少，但我想在将它们发布到这里之前尝试并失败。上面发布的是我遇到的最大瓶颈

我正在创建一个 python 包装脚本，并且想知道创建它的好方法是什么。

我想连续运行代码。例如：

步骤 1. 运行相同的程序（并行 - 并行化很容易，因为我使用的是 LSF 系统，所以我只提交三个不同的作业）。

我并行运行程序，每次运行一个fin.txt并输出一个fout.txt，即当它们都运行时，它们将从三个输入文件f1in.txt、f2in.txt、f3in中产生3个输出文件。 txt、f1out.txt、f2out.txt、f3out.txt。

（在 LSF 系统中）当程序每次运行成功完成后，都会产生一个日志文件输出，f1log.out、f2log.out、f3log.out。

日志文件输出是这种形式，即，如果 f1log.out 成功运行，它将看起来像这样。

因此，我希望我的包装器检查（每 5 分钟左右）每次运行（1、2、3）是否已创建日志文件，如果已创建，我希望包装器检查是否它已成功完成（也就是，如果字符串成功完成出现在日志文件中）。

此外，如果其中一个运行完成并生成一个未成功完成的日志文件，我希望我的包装器结束并报告运行 (k=1,2,3) 未完成。

在那之后，

第2步。如果所有三个运行都成功完成，我将运行另一个将这三个文件作为输入的程序......否则我会打印一个错误。

基本上在我的问题中，我正在寻找两件事：

这听起来像是编写包装器的好方法吗？

如何在 python 中检查文件的存在，并以一种好的方式每隔一定时间搜索一个模式？

笔记。我知道 LSF 具有工作依赖性，但我发现这种方式更清晰且易于使用，尽管可能不是最佳的。

我正在使用 os.system 向系统提交命令。

IE，

但我想知道如何获得输出，即，假设我在 bash 中并输入我的 cmd，我会得到这种形式的输出：

在 python 中，如何使用 os.system(cmd) 获取文本输出，并对其进行解析以获取作业 ID 57960787。

谢谢！

在阅读了 qstat 和 sge_qstat 手册之后，我仍然不知道我可以使用什么方法来以编程方式解析我的 SGE 6.1 系统中的默认队列的名称：也就是说，作业所在的队列的名称如果我执行 qsub 命令，将提交。

我有一个空文件：

而这个文件只包含一个'-u *'：

我希望有一种方法能够以编程方式获取默认情况下将提交作业的队列的名称。与此 LSF 命令中 grep 后面的名称等效的名称：

SGE有什么等价的吗？

这是一些测试代码：

每个块似乎都需要永远，几乎就像在一台机器上完成一样......

有任何想法吗？

我想使用 ESS 在 emacs 中运行 R。我的 R 会话以交互方式运行，但使用 LSF 提交到不同的主机。有没有办法使这项工作？也就是说，R 没有在本地运行。但是，ESS 似乎运行了一个无法运行的本地副本，因为它限制了资源。有没有地方可以指定 ESS 应该运行什么命令来启动 R？

我想使用 LSF 提交一份工作：

• 在 4 个节点上并行运行
• 每个节点都有一个 mpi 进程
• 每个进程有 12 个线程

在没有 LSF 的情况下，我只需在 4 个节点上使用 mpi 启动，例如：

mpirun -hosts host1,host2,host3,host4 -np 4 ./myprocess --numthreads=12

但是，在 LSF 的存在下，我看不到如何做到这一点？我确信可能有一种非常标准的方法可以做到这一点，但我对 LSF 还是很陌生。我四处搜索，但答案对我来说并不是很明显。我在 LSF 中找到了 Hybrid MPI/OpenMP，但它似乎并不完全相同，似乎一次只需要一个主机。

My problem is that: I have a bash script that do something and then call 800 bsub jobs like this:

Then the scripts process the output files $of and echo the results.

The trouble is that I got a lot of lines like:

It's actually 800 times the 3 lines above. Is there a way of suppressing this LSF lines?

I've tried in the loop above:

I does remove the LSF verbosity but instead of submitting almost all 800 jobs at once and then take less than 4 min to run, it submits just few jobs at a time and I have to wait more than an hour for the script to finish.

AFAIK lsf bsub doesn't seem to have a option to surpress all this verbosity. What can I do here?