2

我是 tensorflow 的初学者，现在在一个需要为 tensorflow 部署分布式生产平台的项目中。如果我能得到一些帮助来澄清我的想法，我将不胜感激。

阅读在线文档和youtube，我了解到分布式生产的主要组件如下。

使用 python 3.x 管道构建的 TFX（Tensorflow 扩展）：Apache Beam Orchestrator：Apache Airflow或Kubeflow

但是对于编排器，我认为这两个组件各有利弊，但哪一个是事实上的标准TFX？

该指南主要关注Airflow所以我认为这可能是一个，但kubeflow似乎是新的，所以它可能是新的挑战者。

Note: The current revision of this user guide primarily discusses deployment on a bare-metal system using Apache Airflow for orchestration.

谢谢，于

4

1 回答 1

1

我认为 Kubernetes/Kubeflow 是最好的编排器，但是，它会在设置和管理自己的集群时带来很多前期成本。

Google 刚刚发布了 VertexAI 管道，这是一项托管（无服务器）服务，GCP 在其中为您管理 Kubernetes，您可以专注于编写管道代码。

我强烈建议使用它，就好像它非常实惠且易于设置。https://cloud.google.com/vertex-ai/docs/pipelines/introduction

在我的公司，我们通过使用 VertexAI 管道节省了数百万美元的运营和维护成本。

为了完成这个答案，VertexAI 有一些缺点。这是一个 Pre-GA 产品，所以我在这里和那里仍然有一些小问题，但我会说它 90% 的功能，我们正在使用它来编排我们的端到端机器学习工作流程以及自动化一些我们的分析和数据验证工作负载。

于 2021-10-08T15:59:31.967 回答