我想使用 NATs 流服务器来流式传输数据并使用 Flink 来处理数据。
如何使用 apache flink 通过 NATS 流服务器处理实时流数据？
问问题
619 次
1 回答
1
您需要找到或开发 Flink/NATS 连接器，或者将数据镜像到其他已经支持 Flink 的流存储服务中。在Flink或Apache Bahir或Flink 社区包集合中的连接器中没有 NATS 连接器。但是如果你四处搜索，你会在 github 等上找到一些相关的项目。
在评估连接器实现时，除了通常的考虑因素外，还要考虑以下因素：
- 它是否同时提供消费者和生产者接口？
- 它做检查点吗？
- 它提供哪些处理保证？（至少一次，恰好一次）
- 错误处理有多好？
- 性能：例如，它是否以某种方式批量写入？
- 它如何处理序列化？
- 它是否公开任何指标？
如果您决定编写自己的连接器，您可以将类似系统的现有连接器用作参考，例如 Nifi、Pulsar 等。您应该知道，数据源使用的接口目前正在重构FLIP-27的。
于 2020-03-30T09:58:40.233 回答