从谷歌教程中,我们知道如何在 TensorFlow 中训练模型。但是,保存经过训练的模型,然后在生产服务器中使用基本的最小 python api 提供预测的最佳方法是什么。
我的问题基本上是关于 TensorFlow 最佳实践,以在不影响速度和内存问题的情况下保存模型并在实时服务器上提供预测。由于 API 服务器将永远在后台运行。
一小段python代码将不胜感激。
从谷歌教程中,我们知道如何在 TensorFlow 中训练模型。但是,保存经过训练的模型,然后在生产服务器中使用基本的最小 python api 提供预测的最佳方法是什么。
我的问题基本上是关于 TensorFlow 最佳实践,以在不影响速度和内存问题的情况下保存模型并在实时服务器上提供预测。由于 API 服务器将永远在后台运行。
一小段python代码将不胜感激。
TensorFlow Serving是一个高性能、开源的机器学习模型服务系统,专为生产环境设计并针对 TensorFlow 进行了优化。初始版本包含基于gRPC的 C++ 服务器和 Python 客户端示例。基本架构如下图所示。
要快速入门,请查看教程。