1

我正在使用 Spark、Flink 和 Kafka 创建流分析应用程序。每个分析/功能都将实现为微服务，以便该分析能够在以后用于不同的项目中。

我在 Simple Scala 应用程序中完美地运行了我的 Spark/Flink 作业，并分别通过 Spark 和 Flink 集群提交了该作业。但是当 REST POST startJob() 请求调用我的 Web 服务时，我必须启动/运行这项工作。

如何将我的 Spark 和 Flink 数据处理功能集成到面向 Web 服务的应用程序中？

直到现在我尝试了 Lagom Microservice但我发现了很多你可以检查的问题

  1. 在 Lagom 微服务中摄取流数据的最佳方法
  2. java.io.NotSerializableException 使用 Apache Flink 和 Lagom

我认为我没有为流处理微服务应用程序采取正确的方向。寻找通过 REST 服务实施此分析的正确方向。

4

2 回答 2

0

我认为 REST API 提供作业运行细节，任何 Flink API 都提供假设 Spring Boot REST 端点调用是否连接 Kafka 流数据，并返回 Kafka 数据？

于 2020-08-09T12:58:05.450 回答
0

Flink 有一个 REST API，您可以使用它来提交和控制作业——它被 Flink Web UI 使用。请参阅此处的文档。另请参阅上一个问题。

于 2017-05-13T09:01:02.173 回答