python - 在推理服务中使用 tf.Session 时它是线程安全的吗？

Question

现在我们已经使用 TensorFlow 来训练和导出模型。我们可以用这个模型来实现推理服务，就像我们tensorflow/serving做的那样。

我有一个关于tf.Session对象是否是线程安全的问题。如果是真的，我们可以在启动后初始化对象，使用单例对象来处理并发请求。

Answer 1

该tf.Session对象对于Session.run()来自多个线程的调用是线程安全的。

在 TensorFlow 0.10 之前，图形修改不是线程安全的。这在 0.10 版本中已修复，因此您可以在调用的同时向图中添加节点Session.run()，尽管出于性能原因不建议这样做；相反，建议sess.graph.finalize()在使用多线程会话之前调用，以防止意外的内存泄漏。