python - 在 apache flink 中嵌入现有的 ML 模型

Question

我们正在离线训练机器学习模型并将它们保存在 python pickle 文件中。

我们想知道将这些腌制模型嵌入到流中的最佳方法（例如 sensorInputStream > PredictionJob > OutputStream.

Apache Flink ML 似乎是使用流数据训练模型而不是引用现有模型的正确选择。

谢谢你的回复。

亲切的问候 Lomungo

Answer 1

根据您使用的型号，有两种可能的解决方案：

1. 可能简单的想法是创建将调用模型并返回结果的外部服务，然后简单地调用服务AsyncFunction
2. 使用一些库，再次取决于您的模型在 aProcessFunction的open方法中加载预训练模型。然后简单地为每个到达的数据调用模型。

第二种解决方案有两个缺点，首先您需要有可用的特定库的 Java 版本，另一个是您需要以某种方式外部化模型的元数据，如果您希望能够随着时间的推移对其进行更新。