2

对于 CPP 集成,我们从这里使用 TensorFlow lib https://www.tensorflow.org/install/lang_c

正如我们所见,对于我们的特定模型,第一次 TensorFlow 会话运行耗时 20 秒,而下一次则需要 200 毫秒。我们严格限制了推理的时间,而且我们应该服务多个请求,所以我们决定做下一个技巧:

使用分叉进程为我们的 TensorFlow 提供并行请求服务。初始化 TensorFlow 会话并在主进程中第一次运行空白推理,因此下一次在分叉进程中运行会话。但它卡住了,没有任何错误消息。

有没有办法处理这样的问题。

任何建议都是可以接受的。

4

0 回答 0