我在生产中使用 spark-streaming 2.2.1,在这个应用程序中,我从RabbitMQ读取数据并进行进一步处理,最后将其保存在 cassandra 中。所以,我面临这个奇怪的问题,其中一个节点上的执行者之间的任务数量没有均匀分布。我重新启动了流媒体,但问题仍然存在。
正如你所看到的,10.10.4.72
我有 2 个执行者。在41893端口上运行的那个已经完成了大约。其余节点(10.10.3.73
和10.10.3.72
)上的任务数量加倍。在33451端口上运行的执行程序10.10.4.72
只完成了 18 个任务。即使我重新启动火花流,这个问题仍然存在。
编辑问题 12 小时后,如下图所示,同一执行程序在此期间甚至没有处理任何任务。