apache-spark - Spark 是否将 Kafka 分区中的数据读取到执行程序中，以获取排队的批次？

Question

在使用 streaming-kafka-0-8-integration Direct Approach 进行火花流式传输期间，如果批次正在排队，执行程序会将排队批次的数据拉入他们的内存中吗？如果不是，那么长期积压的批次有什么害处？

Answer 1

是的，Spark 将从 Kafka Queue 中提取数据并在内存上进行处理，并且由于 Kafka 的批次积压很长，因此会对 Kafka 资源造成压力。