伙计们，我正在编写一个应用程序，它将根据 ML 模型调用生成推荐。应用程序将有不同的模型，其中一些应按顺序调用。数据科学家应该能够在系统中上传模型。这意味着应用程序应该具有存储模型元数据以及模型服务器地址的逻辑。模型服务器将在模型上传事件上动态实例化。我想在这里使用一个 TensorFlow Serving 集群，但是我遇到了一个架构问题。有没有办法为 TensorFlow 服务器提供服务注册表之类的东西？构建这样一个具有不同模型的服务器集群的最佳方法是什么？
问问题
126 次
1 回答
0
我需要澄清你想要做什么。所有模型的特征向量是否相同？如果没有，那么做到这一点将更加困难。经过训练的模型以 SavedModel 格式封装。听起来您正在尝试训练一个整体，但有些模型被冻结了？如果您需要的话，您当然可以编写一个自定义组件来将推理请求作为 Trainer 输入的一部分。
更新 1 从您下面的评论看来，您可能正在寻找的是服务网格，例如 Istio。这将有助于管理在容器内运行的服务之间的连接，以及用户和服务之间的连接。在这种情况下，运行模型的 tf.Serving 实例是服务，但基本的请求-响应模式是相同的。这有帮助吗？
于 2019-11-20T14:50:43.907 回答