hadoop - Spark Streaming 中的背压属性如何工作？

Question

我有一个接收单个事件（字符串）的 CustomReceiver。收到的单个事件在 spark 应用程序的运行时用于从 nosql 读取数据并应用转换。当观察到每个批次的处理时间大于批次间隔时，我设置此属性。

spark.streaming.backpressure.enabled=true

之后，当批处理的处理时间超过批处理窗口时，我希望 CustomReceiver 不会触发和接收事件，这并没有发生，并且仍在添加积压的批处理。我在这里错过了什么吗？

Answer 1

尝试检查this和this文章。