tensorflow-transform - 如何在生产（流式传输管道）中重用 TFX 转换进行推理？

Question

我想使用 TFX 构建一个训练管道，并最终重用我的数据转换来向 TensorFlow-Serving 发出推理请求，而 TFX 应该能够做到这一点。我发现的 TFX 示例似乎都建立了批量训练管道并最终在 TensorFlow-Serving 中推送模型，但它们没有解决推理部分，由于延迟原因，推理部分必须是流式管道。我可能会编写自己的工具来提出请求，但不将我的 Transform 组件重用于推理部分似乎是一种浪费。

我已经在本地运行了 TFX 示例安装脚本在 dags 中安装的示例。气流 UI 清楚地表明这些是批处理管道。

Answer 1

TFX 允许您在训练管道中定义转换逻辑，并将逻辑保存为结果模型图的一部分，以便您保存的模型将包括转换和通常的模型，并且 tf serving 将能够接受请求预转换数据格式，并进行适当的转换和模型推断，无需任何额外工作。因此，根据设计，TFX 不参与推理。