python - 在使用 TensorRT 推理服务器时指定优化策略

Question

我已经成功地使用 TensorRT 推理服务器为 Tensorflow 对象检测 API 模型提供服务，并且配置文件 ( config.pbtxt) 如下：

name: "first_model"
platform: "tensorflow_savedmodel"
max_batch_size: 1
input [
  {
    name: "inputs"
    data_type: TYPE_UINT8
    dims: [ -1, -1, 3 ]
  }
]
output [
  {
    name: "detection_boxes"
    data_type: TYPE_FP32
    dims: [ 100, 4 ]
  },
  {
    name: "detection_scores"
    data_type: TYPE_FP32
    dims: [ 100 ]
  },
  {
    name: "detection_classes"
    data_type: TYPE_FP32
    dims: [ 100 ]
  }
]

我正在浏览文档，结果发现还有一种方法可以为模型指定优化设置config.pbtxt。然而，文档没有提到如何指定这些优化设置。我尝试将以下行添加到配置文件中

optimization_policy [
  {
    level:1
  }
]

并尝试为模型提供服务，但出现错误：Can't parse /models/first_model/config.pbtxt as text proto. 但是，如果我删除与我有关的行，optimization_policy我在服务时不会遇到任何问题。

如何在配置文件中指定优化策略/设置？

Answer 1

我自己回答。通过在办公室 Github repo 上提出问题得到答案。

您需要按照此处config.pbtxt的架构格式化您的使用 protobuf 文本格式：

我相信你想要的是：

optimization {  graph { level: 1 } }