4

从 Kubeflow Pipleine kfp.ParallelFor 聚合结果的好模式是什么？

4

2 回答 2

0

目前可能不支持：

支持带有多个参数的输入 #1933

于 2020-05-05T12:24:32.830 回答
0

不完全符合您的要求，但我们的解决方法是将 parallelfor 任务的结果写入 S3，然后在后处理任务中简单地收集它们。

with dsl.ParallelFor(preprocessing_task.output) as plant_item:
                predict_plant='{}'.format(plant_item)
                forecasting_task = forecasting_op(predict_plant, ....).after(preprocessing_task)
postprocessing_task = postprocessing_op(...).after(forecasting_task)
于 2021-07-30T07:04:12.387 回答