kubernetes - 在 Seldon Core 上将模型 A 的输出路由为模型 B 的输入

Question

我正在测试 Seldon Core，想知道是否有一种简单的方法可以将模型 A 的输出路由为 Seldon Core 上模型 B 的输入。最佳做法是什么？

Answer 1

在 SeldonDeployment 资源定义中，您有一个图表部分。顶级元素是第一步，它包含下一步的子元素。下面是一个示例的片段，显示了在将请求传递给模型之前使用转换器转换请求：

    graph:
      children:
        - children: []
          implementation: XGBOOST_SERVER
          name: model
          modelUri: s3://model-image
          type: MODEL
      endpoint:
        type: REST
      name: feature-transformer
      type: TRANSFORMER

seldon 文档中有一个示例，其中使用诸如 clean 和 tokenize 之类的步骤来执行自然语言处理的推理。该示例具有多个步骤作为模型类型。seldon slack 频道也对此进行了讨论。