c++ - 如何在 C++ 中对具有非固定输入形状的 FP16 TensorFlow 模型进行推理？

Question

该模型是用 Python 训练的。我研究过不同的方法，但在这里或那里碰壁。我总结如下，如果我错了，请纠正我

+--------------------+-----+-------+-----------------+
|                    | C++ | FP 16 | non-fixed shape |
+--------------------+-----+-------+-----------------+
| TensorFlow C++ API | ✓   | ?     | ✓               |
| TensorRT           | ✓   | ✓     | X               |
| TF-TRT             | X   | ✓     | ✓               |
+--------------------+-----+-------+-----------------+

• 至少 TensorRT 5.1仍然不支持非固定输入形状
• TF-TRT = tensorflow/tensorrt目前仅在 Python 中可用
• 我知道 TensorRT 推理服务器，但如果我不需要，我不想进入基于网络通信的解决方案

这 ”？” 表中表示与tensorflow/core/kernelsEigen::half下的相互作用（例如，在conv_2d_gpu_half.cu.cc内部）以使用 TensorFlow C++ 实现 FP 16 算法。我没有看到很多关于此的文档，但这是唯一的方法吗？

（我可以将我的模型转换为 MXNet 等其他框架，但似乎存在类似的限制：只需更改 TensorFlow C++ API→<a href="https://github.com/apache/incubator-mxnet/tree/master/cpp- package" rel="nofollow noreferrer">MXNet C++ 包、TensorRT→<a href="https://github.com/dmlc/tvm/issues/3042" rel="nofollow noreferrer">TVM、TF-TRT→ <a href="https://mxnet.incubator.apache.org/versions/master/tutorials/tensorrt/inference_with_trt.html" rel="nofollow noreferrer">MXNet-TensorRT 在表中）