apache-flink - Kubernetes 中的 Apache Flink

Question

谁能告诉我如何在我的无服务器平台（FaaS）中设置 Flink 来执行事件驱动的操作？

我查看了 Flink 函数，它似乎很有希望。任何人都可以澄清以下内容吗？

1. 我需要在我的 FaaS 环境中安装什么。当事件（我的 s3 存储桶中的文件更改）发生时触发 flink 功能？

2. 我没有大数据平台，因此计划在我的 serverless/kubernetes 环境中使用 flink。

提前致谢！！

Answer 1

要使用 StateFun，您通常需要：

1. 将触发功能的 Ingress。
2. 将对您的事件做出反应的实际代码（有状态函数） Dockerized
3. 一种为您的应用程序提供午餐的方法

具体来说：

1. 每个有状态的函数应用程序都从一个 Ingress 开始，基本上这是一个你的函数可以响应的事件漏斗。在您的情况下，您可以使用Amazon Kinesis作为您的 Ingress，并确保您的 S3 事件将在那里结束。

2. 您需要做的下一件事是让自己熟悉有状态的函数 SDK，用Java或Python编写，并编写处理传入事件的逻辑。该阶段的结果将是一个Docker 映像。

3. 然后，您需要午餐 (2) 中获得的图像，为此您可以使用 Kubernetes（您不必这样做）。为了您的方便，提供了Helm 图表和一个简单的实用程序来生成必要的 k8s 资源。