python - TorchServe 二进制输出格式

Question

我正在尝试在生产环境中开始使用 TorchServe。模型接收图像并在后处理后返回另一张图像。现在输出以 JSON 格式返回，当然，这对于大量数据来说效率不高。

如何强制 TorchServe 将数据转换为二进制格式？

在最坏的情况下，我什至可以接受 base64 编码。尽管如此，我更喜欢简单的二进制数据流。

返回数据示例

{
    "model_1": [
        [
            1.0186599865846802e-05,
            4.581515440804651e-06,
            2.045580458798213e-06,
            ...
            5.607908519777993e-07
        ],
        [
            2.2024320855962287e-07,
            1.102798279362105e-07,
            5.91692135287758e-08,
            ...
            4.049098478731139e-08
        ]
    ]
}