c++ - Libtorch：如何从 tensorRT fp16 半类型指针创建张量？

Question

如何从 libtorch 中的 tensorRT fp16 半类型指针创建张量？我正在研究检测模型。我把它的主干改成tensorRT做FP16推理，解码盒和nms等检测代码是在libtorch和torchvisoin中完成的，那么如何从tensorRT半类型指针创建fp16张量呢？重要的代码是为了说明问题：

// tensorRT code to get half type outpus
half_float::half* outputs[18];
doInference(*engine, data, outputs, 1);
// to get the final outputs with libtorch
vector<torch::Tensor> output;
//???? how to feed the date in outpus to output????
// get the result with libtorch method detect_trt->forward
 auto res = detect_trt->forward(output); 

提前致谢。

Answer 1

我必须在 TensorRT 中进行主干推理，但为了方便起见，后期过程使用 libtorch。现在我使用以下代码解决了这个问题：

out = torch::from_blob(outputs[i], {1, num, dim, dim}, torch::kFloat16).to(device_used);