tensorflow - 如何设置本地模型存储库 - 带有 Minio 的 Tensorrt 推理服务器

Question

嗨，我想设置 Kubeflow - NVIDIA TensorRT 推理服务器，存储库位于 MinIO 中。

我不知道如何更改gs://inference-server-model-store/tf_model_store来连接 Minio。

ks init my-inference-server
cd my-inference-server
ks registry add kubeflow https://github.com/kubeflow/kubeflow/tree/master/kubeflow
ks pkg install kubeflow/nvidia-inference-server
ks generate nvidia-inference-server iscomp --name=inference-server --image=nvcr.io/nvidia/tensorrtserver:19.04-py3 --modelRepositoryPath=gs://inference-server-model-store/tf_model_store

Answer 1

看起来 Kubeflow 上的 NVIDIA TensorRT 推理文档尚未更新。

• 在 Heptio 收购后，Ksonnet将被弃用。因此 Kubeflow 正在迁移到Kustomize。

• 如果您考虑使用 Kustomize，您可以使用 Kubeflow 配置 S3 API，如此处所述。您应该能够s3://bucket/object用于模型。