tritonserver - 是否可以在 Nvidia Triton 推理服务器模型存储库中使用另一个模型和自定义 Python 模型？

Question

我想在我在同一个存储库中拥有的另一个自定义 Python 模型中使用我的 Triton 推理服务器模型存储库中的模型。可能吗？如果是，该怎么做？

我想这可以通过Building Custom Python Backend Stub来完成，但我想知道是否有更简单的方法。

Answer 1

是的。

您可以构造 InferenceRequest 并调用 exec() 方法以使用模型存储库中的另一个模型。

这是代码片段：

inference_request = pb_utils.InferenceRequest(
    model_name='model_name',
    requested_output_names=['output0', 'output1'],
    inputs=[pb_utils.Tensor('input0', input0.astype(np.float32))]
)
inference_response = inference_request.exec()
output0 = pb_utils.get_output_tensor_by_name(inference_response, 'output0')
output1 = pb_utils.get_output_tensor_by_name(inference_response, 'output1')

这是一个比较完整的例子。

import numpy as np
import triton_python_backend_utils as pb_utils
import utils


class facenet(object):
    def __init__(self):
        self.Facenet_inputs =  ['input_1']
        self.Facenet_outputs =  ['Bottleneck_BatchNorm']

    def calc_128_vec(self, img):
        face_img = utils.pre_process(img)
        inference_request = pb_utils.InferenceRequest(
            model_name='facenet',
            requested_output_names=[self.Facenet_outputs[0]],
            inputs=[pb_utils.Tensor(self.Facenet_inputs[0], face_img.astype(np.float32))]
        )
        inference_response = inference_request.exec()
        pre = utils.pb_tensor_to_numpy(pb_utils.get_output_tensor_by_name(inference_response, self.Facenet_outputs[0]))
        pre = utils.l2_normalize(np.concatenate(pre))
        pre = np.reshape(pre, [128])
        
        return pre

您可以在此处找到更多参考：https ://github.com/triton-inference-server/python_backend#business-logic-scripting-beta