我刚开始使用张量流。我能够成功地为我创建的数据集训练它。现在的问题是我将如何使用这个模型进行预测。我想将其作为 REST 服务,我将能够向其传递一些值并获得预测作为响应。也欢迎任何有用的链接。该模型当前位于 VM 上。
谢谢 :)
我刚开始使用张量流。我能够成功地为我创建的数据集训练它。现在的问题是我将如何使用这个模型进行预测。我想将其作为 REST 服务,我将能够向其传递一些值并获得预测作为响应。也欢迎任何有用的链接。该模型当前位于 VM 上。
谢谢 :)
你见过 GCP 上的 Cloud ML 吗?它可能正是您正在寻找的。
https://cloud.google.com/ml/
您可能需要对模型的架构进行一些调整——比如可变批量大小和向集合添加输入/输出——但它们在文档中得到了很好的解释。
如果您决定更新模型时性能、可扩展性和短停机时间不是问题,您还可以考虑只安装一个简单的烧瓶服务器,上面安装了 tensorflow。
如果您不想使用 Cloud ML 并且需要处理大量请求,请查看tensorflow serving。
首先:尝试保存和加载您的模型:https ://www.tensorflow.org/versions/r0.11/how_tos/variables/index.html
然后,在训练之后,您可以简单地调用:
rest_prediction = sess.run(prediction_tensor, feed_dict={x_tensor: user_input})
一个重要的区别是,在训练期间你有 batch_size 输入,但是当你有一个 REST 服务器时,你有 1 个输入。张量的形状(https://www.tensorflow.org/versions/r0.11/resources/dims_types.html)应该是可变的。如何实现这一点可以在这里找到:https ://www.tensorflow.org/versions/r0.11/resources/faq.html#tensor-shapes
如果您发布一个简短的代码片段,我们可能会为您提供更好的帮助。