hazelcast-jet - 在具有多个实例的应用程序上创建的 Hazelcast 喷射管道导致问题

Question

我有一个应用程序，我在其中创建了 Jet 实例和管道作业来聚合流数据的结果。我正在运行此类应用程序的多个实例。我面临的问题是因为有 2 个实例，它正在运行 2 个管道作业，因此计算结果两次并且不正确，但它发现两个 jet 实例都是同一个集群的一部分。

喷射管道是否不检查管道作业，如果相同，只需将其视为一个，就像卡夫卡流对其拓扑结构一样？

Answer 1

Jet 0.7 中的作业提交是针对整个集群的。如果您两次提交相同的 Pipeline/DAG，则作业将执行两次。

即将发布的版本增加了newJobIfAbsent()方法：如果作业有名称，它只会提交作业，除非有同名的活动作业。如果已经有一个同名的作业，它将返回Job已经存在的作业的句柄。