2

我们正在使用多个 kafka 主题，但希望优先考虑其中一些主题（〜服务质量）。

根据我在网上找到的内容，共识是不限制操作符，而是限制源，更具体地说是反序列化器 [1]。

我们如何在源中访问有关流环境状态的信息（即主题落后于当前偏移量的程度）。

目前，我们计划将我们的整个设置转换为 CoFlatMaps [2]，并有一个控制流为所有主题发出当前的偏移滞后 - 低优先级流操作符然后根据高优先级流的滞后休眠。

你将如何解决这个问题？Tl; dr：有没有办法在任务管理器的源/反序列化器之间共享信息？

[1] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/Rate-limit-processing-td11174.html

[2] http://apache-flink-user-mailing-list-archive.2336050.n4.nabble.com/newbie-Share-state-between-streams-td7368.html

4

1 回答 1

0

对于人们需要回答这个问题：我在 flink 的背压中遇到了类似的话题。我发现人们在源操作符中做了他们的速率限制并序列化部分。

有一个来自 flink github repo 的示例：https ://github.com/apache/flink/blob/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples /utils/ThrottledIterator.java

于 2019-11-25T08:37:39.727 回答