我有批处理间隔为 30 秒的火花流处理。如果批次在队列中堆积，我想完全跳过创建的新批次或动态更改批次间隔以减少创建批次的频率。我了解背压可用于动态更新每批中处理记录的速率。我正在寻找的是以下之一
- 如果没有，则为队列中的批次数量引入阈值。队列中的批次超过阈值，然后不添加新批次
- 动态更新批处理间隔，以便当批处理队列大小超出一定限制时，我可以增加批处理间隔，以便将更少的批处理添加到队列中。
有什么办法可以达到我的要求吗？
编辑：我使用的火花版本是 2.2.0
问问题
59 次