0

我想优化我的神经网络（来自 Google 的 Resnet101）以使用 TensorRT（版本 5.1）进行推理。我一直在寻找如何做到这一点的博客和教程，并找到了一些类似这里的东西和其他一些东西。他们都有一个共同点：

trt_graph = trt.create_inference_graph(
                getNetwork(network_file_name), 
                outputs,
                max_batch_size=batch_size,
                max_workspace_size_bytes=workspace_size, 
                precision_mode=”INT8")

但问题是我的TensorRT版本没有这个功能。我得到如下输出。

Python 3.6.6 |Anaconda custom (64-bit)
>>> import tensorrt as trt
>>> trt.__version__
5.1.2.2
>>> trt.create_inference_graph()

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: module 'tensorrt' has no attribute 'create_inference_graph'

有谁知道该功能是否在 TensorRT 5.1 版中被其他功能替换？如何运行它？

4

3 回答 3

1

这也是您可以导入 tensorrt 的另一个位置

from tensorflow.python.compiler.tensorrt import trt_convert as trt
于 2021-01-07T07:43:13.507 回答
1

默认情况下，一些 tensorflow 安装已经具有 tensorrt。试试看；

import tensorflow.contrib.tensorrt as trt

于 2019-05-20T19:42:16.113 回答
0

正如@Uziel 建议的那样，Tensorrt 应该与：

import tensorflow.contrib.tensorrt as trt

不幸的是，在我的情况下，导入导致了以下错误：

tensorflow.python.framework.errors_impl.NotFoundError: libnvinfer.so.4: cannot open shared object file: No such file or directory

我安装 TensorRT 时出现问题。重新安装一切后，它现在可以工作了。

于 2019-05-21T11:42:14.353 回答