0

我在 Kubeflow DAG Runner 上遇到了 TFX 问题。问题是我每次运行只能启动一个 pod。除了 Apache Beam 参数之外，我没有看到任何“workers”配置，这无济于事。

在一个 pod 上运行 CSV 加载会导致 OOMKilled 错误，因为文件超过 5GB。我尝试将文件拆分为 100MB 的部分，但这也无济于事。

所以我的问题是：如何在 Kubeflow 上的多个“worker”pod 上运行 TFX 作业/阶段，或者这是否可能？

这是我一直在使用的代码：

examples = external_input(data_root)
example_gen = CsvExampleGen(input=examples)
statistics_gen = StatisticsGen(examples=example_gen.outputs['examples'])

dsl_pipeline = pipeline.Pipeline(
  pipeline_name=pipeline_name,
  pipeline_root=pipeline_root,
  components=[
      example_gen, statistics_gen
  ],
  enable_cache=True,
  beam_pipeline_args=['--num_workers=%d' % 5]
)


if __name__ == '__main__':
    tfx_image = 'custom-aws-imgage:tfx-0.26.0'
    config = kubeflow_dag_runner.KubeflowDagRunnerConfig(
        kubeflow_metadata_config=kubeflow_dag_runner.get_default_kubeflow_metadata_config(),
        tfx_image=tfx_image)
    kfp_runner = kubeflow_dag_runner.KubeflowDagRunner(config=config)
    # KubeflowDagRunner compiles the DSL pipeline object into KFP pipeline package.
    # By default it is named <pipeline_name>.tar.gz
    kfp_runner.run(dsl_pipeline)

环境：

  • Docker 映像：安装了 boto3 的 tensorflow/tfx:0.26.0（aws 相关问题）
  • Kubernetes：AWS EKS 最新
  • 库比流：1.0.4
4

1 回答 1

0

看来这在当时是不可能的。参见： https ://github.com/kubeflow/kubeflow/issues/1583

于 2021-01-28T08:50:32.600 回答