gpu - ICudaEngine.serialize() 调用实际上是什么？

Question

我想弄清楚 TensorRT 人将“引擎”命名为什么。我想知道这一点，因为我不确定我是否能够使用相同的引擎在不同的 GPU 上推断真实架构。

我知道有一种代码可以执行神经网络推理步骤。我想知道它是否包含 cuda PTX 代码（一种由 CUDA JIT 解释的字节码），或者它可能是为给定 GPU 架构编译的实际二进制文件。

我希望它是一种可移植的字节码。你有什么线索吗？

非常感谢！

Answer 1

我想知道这一点，因为我不确定我是否能够使用相同的引擎在不同的 GPU 上推断真实架构

创建的 TensorRT 模型根据其构建的 GPU 架构进行了优化。因此，构建在一个 GPU 架构上的引擎不应该在不同的架构上使用。