问题标签 [seldon]

我正在考虑在 kubernetes 上部署带有seldon core的 ml 模型。Seldon 提供了进行预处理、后处理、预测、组合和路由模型的方法。但是，我认为，这些都假设输入数据是固定的。整个 seldon 图的输入数据是固定的，还是可以在运行时调用模型？换句话说，是否可以使用一个模型的输出来确定应该调用哪个其他模型。

我正在尝试做的事情是运行一个具有可变数量输出的模型（假设是图像实例分割模型）并为每个输出运行第二个模型（假设是图像分类模型）。在这种情况下，第二个模型的输入取决于第一个模型的输出。

谢顿支持吗？有没有办法用 seldon 做到这一点？

我正在尝试 Seldon Core 示例。

这是 SeldonExampleDeployment.yaml。

• 我使用 EKS
• 我刚刚打开了 VPC 中的所有流量（入站和出站）

我不知道为什么会发生这个错误。请帮我...

参考： https ://github.com/SeldonIO/seldon-core/blob/master/examples/models/sklearn_iris/sklearn_iris.ipynb https://github.com/SeldonIO/seldon-core/tree/master/examples/models /sklearn_spacy_text

#步骤完成

kubectl get sdep -n john seldon-deployment-example -o json | jq .状态

5.这里我使用 istio 并按照这个文档https://docs.seldon.io/projects/seldon-core/en/v1.1.0/workflow/serving.html我做了同样的事情

curl -s http://localhost:8003/seldon/john/sklearn-iris-deployment-sklearn-iris-predictor-0e43a2c/api/v0.1/predictions -H "Content-Type: application/json" -d ' {“数据”：{“ndarray”：[[5.964,4.006,2.081,1.031]]}}' -v

同样的事情也发生在sklearn_spacy_text模型中，但我想知道相同的模型在 docker 上运行时能完美地工作。

请从 docker 找到示例响应

任何人都可以帮助解决这个问题

我在启用了 Istio 的 K8s 集群上安装了 Seldon。我想使用 Istio 使用来自 GCP 的安全协议（例如使用服务帐户的 IAP 或 JWT）来保护 REST API。对使用 Seldon Core 部署的 API 实施身份验证和授权所需的配置是什么？如果有一些我可以遵循的示例或样板 YAML 文件，我将不胜感激。

我想在监控命名空间中使用我已经存在的 Prometheus 和 Grafana 实例来模拟seldon-core-analytics正在做的事情。我正在使用 prometheus 社区 helm 图表并安装kube-prometheus-stack 在 k8s 上。这是我到目前为止所做的：

在values.yaml文件中，在 prometheus 配置下，我添加了以下注释：

接下来，我查看了prometheus-config.yaml他们的 Github 存储库中的配置，并将配置复制并粘贴到 configmap 文件中。

此外，创建了一个 ServiceMonitor

到目前为止，上述步骤没有错误，但似乎 prometheus 实例无法从我部署在不同命名空间上的模型中抓取指标。我还需要进行哪些其他配置，以便我自己的 Prometheus 和 Grafana 实例可以从我很少部署的模型中收集和可视化指标？该文档并没有真正解释如何在您自己的实例上执行此操作，而且他们提供给您的实例seldon-core-analytics还没有准备好生产。

我一直在探索 Seldon 的批处理：https ://docs.seldon.io/projects/seldon-core/en/latest/servers/batch.html ，但我找不到说明如何安装的文档命令行界面seldon-batch-processor。谁能告诉我如何安装它？

我正在使用 BentoML 为 BERT 模型构建 docker 容器，然后在 GKE 上使用 Seldon 部署它。该模型的 REST API 端点工作正常。在与 Seldon 的兼容性方面，Prometheus 正在抓取这些指标并在 Grafana 上进行可视化。唯一似乎不工作的 Seldon 组件是请求日志记录，我已经为部署在 Seldon 上的其他应用程序工作。我正在使用这里的弹性堆栈。据我了解，请求日志记录应该仍然兼容，唯一丢失的功能应该是 Seldon 的模型元数据。关于如何使集中式请求日志记录工作的任何见解？没有显示错误；只是没有捕获日志并将其发送到 ElasticSearch。

我如何实现尝试，除了在我的 python 脚本上，我使用 kubernetes python 客户端与我的 GKE 集群通信。如果它不存在，我想创建一个部署。我目前正在这样做（下面的代码），但它似乎不起作用，因为它返回 API 异常错误并且程序崩溃。

这是我当前的实现

我怎样才能解决这个问题？我试图遵循的逻辑是这样的

1. 如果部署存在，则返回一个已经存在的消息，而不会使脚本崩溃。
2. 如果部署不存在，请创建一个新部署。

我正在尝试按照 Seldon 的说明在 minikube 上构建和部署 iris 模型。 https://docs.seldon.io/projects/seldon-core/en/latest/workflow/github-readme.html#getting-started 我可以使用 YAML 文件安装带有 Helm 和 Knative 的 Seldon。但是，当我尝试应用此 YAML 文件来部署 Iris 模型时，我遇到了以下错误：

我在其他文件（例如 knative 和代理安装）上使用 kubectl apply YAML，它们没有这个问题，但是当我 kubectl apply any SeldonDeployment YAML 文件时出现此错误，我还尝试了 cifar10.yaml 用于 cifar10 模型部署和 mnist- model.yaml for mnist model deploy 他们有同样的问题。

有没有人遇到过类似的问题？排除故障和解决问题的最佳方法是什么？

我的 Seldon 是 1.8.0-dev，minikube 是 v1.19.0，kubectl Server 是 v1.20.2 这是 YAML 文件：

错误代码

我曾尝试使用 TRITON 服务器在 seldon 上部署 PyTorch 模型。使用 yaml

访问路径/v2/models/cifar10，它显示错误