在高流量应用程序中使用 TensorFlow 进行实时预测的正确方法是什么。
理想情况下，我会有一个运行 tensorflow 的服务器/集群在一个端口上监听，我可以从应用服务器连接并获得类似于使用数据库方式的预测。训练应该通过 cron 作业通过网络将训练数据馈送到同一服务器/集群来完成。
如何在生产中实际使用 tensorflow？我应该建立一个 python 作为服务器运行的设置并使用 python 脚本来获取预测吗？我对此仍然很陌生，但我觉得这样的脚本需要打开会话等。这是不可扩展的。（我说的是每秒 100 次预测）。
任何指向相关信息的指针都将受到高度赞赏。我找不到任何东西。