问题标签 [nextflow]

我正在尝试使用需要使用 docker 的 AWS（EC2 实例）运行 Nextflow 管道，但出现以下错误：

在发现这个错误之后，我的管道完全死了。我在网上找到的这个问题最常见的答案是做一个 docker system prune，这样我可以释放一些空间，但是这样做之后错误仍然存​​在，并且空闲数据块仍然为 0。

我的猜测是我无法访问数据块，但由于这是我第一次使用 Docker，我完全迷路了。

如果有趣的话，如果我运行 docker info：

关于如何解决这个问题的任何线索？

如何允许进程从两个通道之一获取输入，这些通道是具有互斥运行条件的进程的输出？例如，类似：

其中 final.out 将包含a.outparams.condition 是否为真（例如--condition在命令行上给出），以及b.out它是否为假。

我有一个进程生成我感兴趣的两个文件，hitsort.cls 和 contigs.fasta。我使用publishdir输出这些：

现在，我需要这两个文件作为另一个进程的输入，但我不知道该怎么做。

我试过用

同时将输入指定为：

但它不起作用，因为只使用基本名称而不是完整路径。基本上我想要的是等待 RUN_RE 完成，然后将它输出的两个文件用于下一个过程。

我有一个像这样（简化）的 Nextflow 工作流程：

现在，我只想在调用中的脚本中添加命令的一部分，-f PASS,.前提是为真。bcftools mergeparams.filter_pass

换句话说，如果params.filter_pass为真（为清楚起见，删除了其他行），脚本将像这样执行：

如果它params.filter_pass是假的：

我知道我可以使用条件脚本，但这意味着复制整个脚本节只是为了更改一个参数。

Nextflow 是否可以使用此用例？

我链接到能够做这样的事情：

}

但是代码无法编译......最接近的有效下一个流程是什么？

我在 Nextflow 中有一个 DSL2 工作流程，如下所示：

现在我有一个变量，params.bcl_convert可用于从一个流程切换到另一个流程，我将工作流程设置如下：

问题在于有问题的行：无论生成它的过程如何，我都不确定如何（以及是否可能）fastqc获得bcl2fastqor bcl_convert（但只有，而不是其余的）的输入。 fastq_ch

我尝试过的一些事情包括（受https://github.com/nextflow-io/nextflow/issues/1646启发，但它使用了进程的输出）：

Variable "runfolder" already defined in the process scope但是，即使以与帖子类似的方式使用该方法，此编译也会失败：

我考虑过在单个脚本中使用条件，但是两个进程的输出不同，所以这实际上是不可能的。我让它工作的唯一方法是复制所有输出，例如：

然而，这在我看来是不必要的复杂化。我想做的事真的可能吗？

我可以访问具有很多节点的集群。我正在使用以下命令运行我的 Nextflow 工作流程：

我想在一组特定的节点上运行我的 nextflow 工作流。我已经标记了我感兴趣的节点：

我从 Nextflow 和 Kubernetes 文档中无法理解如何安排我的工作流程，而这些流程在我感兴趣的节点之间进行拆分。

我只了解如何使用 kubernete：https ://kubernetes.io/docs/concepts/overview/working-with-objects/labels/

但不是如何nextflow kuberun命令。

非常感谢任何帮助，谢谢！

从这里转发，希望澄清。

提前致谢。

我对 NextFlow 完全陌生，我很困惑我不能做这个简单的事情，也找不到关于它的文档：我知道 NF 是面向通道的，但它可以正确处理面向文件的案例吗？

我的意思是，假设您有通常的情况（请参阅此示例，从另一个讨论中重写）：

• 进程A，创建文件a
• 进程 B，创建文件 b
• 进程 C，用 a+b 做某事并创建 c（例如，连接 a 和 b）

现在，我删除文件 a，我希望 A 和 C 被重新执行，C 处理新的 a 和现有的 b 并重新创建 c。

也就是说，

• 如果我以常规方式执行此操作，即将文件放入工作目录，则删除工作文件非常困难，因为我必须使用散列名称翻找日志和目录，直到找到我需要的内容。我希望能够只删除 a 或 b （或者，只删除touch它们）。
• 我已经尝试过storeDir并且文件日期被完全忽略，如果 a 不存在，但 c 存在，则 A 被重新执行但 C 不存在并且旧的 c 被保留。
• 我认为publishDir也不会起作用，因为我希望它像第一种情况一样工作（因为文件保留在工作目录中，除了mode='move'，只能在最后一步中使用）。

我是否遗漏了什么，或者 NF 不适合像上面这样的面向文件的情况？

此外，有没有办法只运行一个管道到一个给定的进程（例如，指定'A'）？

我正在尝试制作一个使用 python 脚本的 Nextflow 脚本。我的 python 脚本导入了许多模块，但在 Nextflow python3 中没有找到 7 个模块中的两个（cv2 和 matplotlib）并崩溃。如果我直接从 bash 调用脚本，它工作正常。我想避免创建一个 docker 镜像来运行这个脚本。

我认为存在路径问题，因为 numpy、sys、re、time 等模块已成功加载。我该如何解决？

提前致谢

更新

为了帮助其他可能在 nextflow 脚本中使用 python 遇到问题的人......确保你的 shebang 是正确的。我正在使用

代替

由于我所有的软件包都安装了 pip3 并且我专门使用 python3 你需要有正确的 shebang。

utilities.py我在目录中创建了一个名为的 python 脚本bin/：

并使其可执行chmod +x。我想在我的工作流程的各个流程中的多个脚本块中使用这些功能。目前，当我尝试从实用程序模块导入函数时：

我收到以下错误：

是否可以通过这种方式导入自己的模块？