python - 如何有条件地运行部分 Kedro 管道？

Question

我有一个很大的管道，需要几个小时才能运行。它的一小部分需要经常运行，我如何在不触发整个管道的情况下运行它？

Answer 1

有多种方法可以指定要运行的管道的哪些节点或部分。

1. 使用kedro run像--to-nodes//这样的参数来明确定义需要运行的内容--from-nodes。--node

2. 您可以在kedro>=0.15.2其中定义多个管道，然后使用kedro run --pipeline <name>. 如果未--pipeline指定参数，则运行默认管道。默认管道可能会结合其他几个管道。有关使用模块化管道的更多信息：https ://kedro.readthedocs.io/en/latest/04_user_guide/06_pipelines.html#modular-pipelines

3. 使用标签。用“小”之类的东西标记管道的一小部分，然后执行kedro run --tag small. 在此处阅读更多信息：https ://kedro.readthedocs.io/en/latest/04_user_guide/05_nodes.html#tagging-nodes

Answer 2

我建议您按照@idanov 的建议让您的标签或管道设置从 cli 正确运行。从长远来看，转向生产对您来说会容易得多。我还要补充一点，您可以在 python 内部进行大量临时管道修剪和运行，这里有一些示例。

按标签过滤

nodes = pipeline.only_nodes_with_tags('cars')

按节点过滤

nodes = pipeline.only_nodes('b_int_cars')

过滤节点如

query_string = 'cars'
nodes = [
   node.name 
   for node in pipeline.nodes 
   if query_string in node.name
   ]
pipeline.only_nodes(*nodes)

只有带有标签的节点 或

nodes = pipeline.only_nodes_with_tags('cars', 'trains')

只有带有标签的节点 和

raw_nodes = pipeline.only_nodes_with_tags('raw')
car_nodes = pipeline.only_nodes_with_tags('cars')
raw_car_nodes = raw_nodes & car_nodes

raw_nodes = (
   pipeline
   .only_nodes_with_tags('raw')
   .only_nodes_with_tags('cars')
   )

添加管道

car_nodes = pipeline.only_nodes_with_tags('cars')
train_nodes = pipeline.only_nodes_with_tags('trains')
transportation_nodes = car_nodes + train_nodes

以上是我个人kedro 笔记的片段。