1

我是snakemake和使用集群的新手，所以我将不胜感激！

我有一个可以在服务器上正常运行的蛇文件，但是当我尝试在集群上运行它时，我没有找到合适的命令来提交作业并让它执行。它像其他用户发现的那样“停滞不前”。https://groups.google.com/forum/#!searchin/snakemake/cluster|sort:relevance/snakemake/dFxRIgKDxUU/od9az3MuBAAJ

我在一个 SGE 集群上运行它，其中只有一个节点（头节点）我们通过它提交作业。我们不能以交互方式运行作业或在头节点上运行密集的命令。通常我会像这样运行 bwa 命令：

qsub -V -b y 'bwa mem -t 20 /reference/hg38.fa in/R_1.fastq in/R_2.fastq |samtools view -S -bh -@ 7 > aln_R.bam'

因此，我遵循了关于通过头节点在集群上提交作业的常见问题解答，其中建议了以下代码：

qsub -N PIPE -cwd -j yes python snakemake --cluster "ssh user@headnode_address 'qsub -N pipe_task -j yes -cwd -S /bin/sh ' " -j

这对我不起作用，因为我的终端期望 python 是一个文件。要实际调用程序的命令，我必须使用它：

qsub -V -N test -cwd -j y -b y snakemake --cluster "qsub " -j 1

-by 允许二进制或脚本。如果我运行它，qstat 将显示程序正在运行，但是有一个内部错误并且它永远不会完成。

此外，“qsub”中的内容被视为蛇形命令。当我尝试使用 sge 标志（例如 -jy）时，snakemake 出现以下错误：

qsub -V -N test -cwd -j y -b y snakemake --cluster "qsub -j y" -j 1
snakemake: error: argument --cores/--jobs/-j: invalid int value: 'y'

我可以完美地提交 tmp 文件中的蛇形外壳脚本，但我不能使用 -by 标志并添加了 -S /bin/bash 标志。因此脚本本身可以工作，但我认为它们从头节点推送到集群的方式无法以某种方式工作。我也可能完全偏离目标！我很想知道如何向我的系统管理员谈论 SGE，因为我真的不知道该向他们询问我的问题。

结论：有没有其他人遇到过需要调用 -by for snakemake --cluster 在 SGE 上运行？它是否也将“qsub”视为蛇形命令？或者是否有人有另一种解决方法来在 SGE 的头节点上提交作业？我应该问我的 SGE 系统管理员什么问题？

4

2 回答 2

1

为了简化事情：

  1. 您不需要命名您的工作（-N PIPE）
  2. 您不需要设置工作目录 (-cwd)
  3. Snakemake 可以很好地处理作业的 STDERR 和 STDIN（-j 是）
  4. 我对这面旗帜了解得不够多，留着吧。（'-经过'）
  5. 您可能还需要 -S 参数，见下文。

Qsub 参数：

[-b y[es]|n[o]]      handle command as binary
[-S path_list]       command interpreter to be used
[-V]                 export all environment variables

从包含您的 Snakefile 的目录中尝试以下调用。我的 SGE 集群需要这个“-S /bin/bash”参数。我有关于“-S”的理论，但我不能确定为什么需要它。这篇文章中的答案反映了我对为什么需要它的很多怀疑...... SGE Cluster - 提交后脚本失败 - 在终端中工作

尝试

$snakemake --jobs 10 --cluster "qsub -V -b y"

或者

$snakemake --jobs 10 --cluster "qsub -V -b y -S /bin/bash"

这样你就有了你的 Snakemake 参数（--jobs 和 --cluster），与你的 qsub 参数（-V、-b 和 -S）明显分开。

你的 Snakefile 应该看起来像这样。它可以更好地编码，但这是基本思想。

run bwaRULE:
    input:
        "in/R_1.fastq", "in/R_2.fastq"
    output:
        "aln_R.bam"
    shell:
        "bwa mem -t 20 /reference/hg38.fa {input} | samtools view -S -bh -@ 7 > {output}"

编辑回应OP的评论。

TL; DR 祝你一切顺利。我不认为这是 Snakemake 的用途。Inti Pedroso 重新发明了轮子，您可能也必须这样做。由于您也参考了他的帖子，我会指出他指定系统管理员“更喜欢”不要在头节点上运行 Snakemake，因为担心它会消耗太多资源。

PID   USER      PR   NI VIRT  RES  SHR S %CPU  %MEM  TIME+  COMMAND
26389 tboyarsk  19   0  318m  62m  11m R 99.8  0.1   0:10.96 snakemake

这是一个 1000 个作业的 DAG，使用了我编写的 20 多个 Snakemake 模块中的 14 个。它最终尝试使用 100% 的 CPU，但时间小于 15 秒。内存使用量不超过 500MB。我强烈建议您在开始工作之前与您的系统管理员再试一次。获得许可将为您节省大量时间。

http://snakemake.readthedocs.io/en/stable/project_info/faq.html#how-can-i-run-snakemake-on-a-cluster-where-its-main-process-is-not-allowed-在头节点上运行

https://bitbucket.org/snakemake/snakemake/issues/25/running-snakemake-via-cluster-engine

我正在根据员工的要求重命名它。它们还不是超级描述性的。4 重新排列后的样本在重新构建、注释和汇总数据之前通过染色体进行拆分和处理。

Job counts:
count   jobs
4   alignBAM
1   all
8   canonical
8   catVCF
4   cosmic
4   dpsnp
4   filteredBAM
4   indel
4   indexBAM
336 mPileSPLIT
4   markdupBAM
672 mpileup2SPLIT
4   sortBAM
8   tableGET
4   undoBAM
1069

编辑2017 年 5 月 26 日

添加以通过大型管道的 Snakemake 提交来阐明头节点上的资源消耗。

根据经验，这是运行此管道引起的头节点上的压力//资源消耗的想法。资源消耗在提交管道的前 30 秒内达到峰值。在那之后，头节点资源消耗是微不足道的。头节点只是使用最少的资源来监视作业状态并提交下一个调用，就像调度程序通常所做的那样。不再需要资源密集型的决定。

范围

  • 17GB BAM 文件（4 个样本）
  • 持续时间（并行运行时为 6 小时）
  • 第一个 15-20 秒 DAG 组装后的头节点使用量是微不足道的。

时间线

  1. 开始
  2. 15-20 秒头节点竞争资源（<500MB），同时 DAG 正在确定和组装。
  3. 作业是通过 Snakemake 命令从头节点到子节点的 qsub'b，几乎是即时的。很少的开销，主要是字符串连接和变量链接。这一直持续到所有作业都已提交。
于 2017-05-17T18:49:25.603 回答
0

当您说您不能交互式使用节点时，您确定您的集群管理员已经禁止使用 qrsh 和 qlogin 以及 ssh 吗？这两个命令将作业提交到可以为您提供交互式外壳但受 SGE 控制的集群。

我怀疑您遇到了命令行双重解析的问题。一次是在提交作业时，一次是在 SGE 尝试启动您的命令时。与其尝试将整个内容作为命令行提交，不如将您的 snakkmake 命令写入 shell 文件并提交（不带 -by）

#!/bin/sh
#$ -S /bin/sh
exec python snakemake -j 1 --cluster "qsub -j y"

或者，创建一个包装器脚本，嵌入您希望 snakemake 在为从属作业调用 qsub 时使用的选项。

#!/bin/sh
exec qsub -j y "$@"

然后告诉snakemake使用它：

qsub -V -N test -cwd -j y -b y snakemake  -j 1 --cluster "wrapper"

或者，在命令行中添加额外的转义和引用层，直到它起作用。

于 2017-05-27T11:24:34.623 回答