java - 如何保持 flink 批处理作业在本地连续运行

Question

我正在 Windows 10 机器上通过 flink 批处理机制练习文件读取。

我从 flink 的官网下载了 flink-1.7.2-bin-hadoop24-scala_2.12.tgz 并执行了 start-cluster.bat 。

我通过 Flink 的 UI 上传了 jar 并能够执行该作业，但该作业在几秒钟内完成。

我想保持工作连续运行，以便我可以测试我的用例。

你能指导我实现这一目标的可能方法吗？

Answer 1

在 Flink 中，批处理作业会一直运行，直到处理完所有输入，此时它们已完成并终止。如果你想要连续处理，那么你应该要么

• 使用一些部署自动化（在 Flink 之外）来安排根据需要创建新的批处理作业，或者
• 实现流式作业

在您的情况下，听起来您可能正在寻找FileProcessingMode.PROCESS_CONTINUOUSLY选项StreamExecutionEnvironment.readfile- 有关更多信息，请参阅文档。