1

为了对冻结的 Tensorflow 图 (.pb) 进行快速 CPU 推理，我目前正在使用 Tensorflow 的 C API。推理速度已经相当不错了，但是（与英特尔的 OpenVINO 等 CPU 专用工具相比）我目前无法在运行之前以某种方式优化图表。我对任何适合的优化感兴趣： - 针对 CPU 的特定于设备的优化 - 特定于图形的优化（融合操作，丢弃节点，......） -......以及其他一切降低推理所需时间的东西。

因此，我正在寻找一种在训练后和执行前优化图形的方法。如前所述，英特尔的 OpenVINO（用于 CPU）和 NVIDIA 的 TensorRT（用于 GPU）等工具可以做类似的事情。我也在使用 OpenVINO，但目前正在等待错误修复，因此我想尝试另一种方法。

我想过尝试 Tensorflow XLA，但我没有使用它的经验。此外，我必须确保最终获得冻结图（.pb）或可以转换为冻结图（例如.h5）的东西。

我将不胜感激建议！

问候

4

1 回答 1

0

按着这些次序：

  1. 冻结 tensorflow 训练模型 (frozen_graph.pb) - 为此，您可能需要训练模型 .pb、检查点和输出节点名称
  2. 使用英特尔 OpenVINO 模型优化器优化您的冻结模型 -

python3 mo.py --input_model freeze_graph.pb

此外，您可能需要input_shape

  1. 结果你会得到 .xml & .bin 文件。在 benchmark_app 的帮助下，您可以检查推理优化。
于 2019-09-19T18:41:05.323 回答