spark-streaming - 通过马拉松在 mesos 上运行 spark 应用的多个实例

Question

我试图通过 mesos 上的马拉松运行火花流应用程序，这项工作最终将一些计数存储到 cassandra 的实例中。我的问题是我应该将此应用程序的实例数（马拉松）设置为 2（对于 HA）；但是，问题不是第二个实例只是第一个实例的副本，并且处理和结果会重复吗？

Answer 1

不，您没有将 HA 的实例数设置为 2。Marathon 将重新启动由于任何原因而出现故障的任何应用程序。不过，实施健康检查是一个很好的做法。