我想知道是否有办法（或某种代码示例）在 Flink 流应用程序中加载编码的预训练模型（用 python 编写）。所以我可以使用从文件系统加载的权重和来自流的数据来拟合模型。
先感谢您
问问题
190 次
1 回答
2
您可以通过多种不同的方式执行此操作。通常，最简单的方法是简单地调用从某些外部存储（如 s3）下载模型的代码，例如在open函数的方法中。然后您可以使用您选择的库来加载预训练的权重并处理数据。您可以在这里寻找一些灵感，这是从Kafka读取的使用protobuf序列化的加载模型的代码，但是您可以使用它来理解原理。
通常我不建议从文件系统中读取模型，因为它不那么灵活并且维护起来很麻烦。但这也是可能的，具体取决于您的基础架构设置。在这种情况下，唯一的事情就是断言带有模型的文件在 Pipeline 将运行的机器上可用。
于 2020-10-07T22:00:52.383 回答