python - 带有 Python 后端流的 Triton 推理服务器

Question

我正在使用带有 python 后端的 Triton 推理服务器，目前发送单个 grpc 请求是否有人知道我们如何将 python 后端用于流式传输，因为我没有找到任何示例或任何与流式传输文档相关的内容。