问题标签 [direct-runner]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
27 浏览

apache-flink - MQTTIO 与 Apache Beam 的连接对于不同的主题表现不同

当我安装Mosquitto Broker并将消息发布到主题并使用 Apache Beam MQTTIO 管道订阅消息并在控制台中打印消息时,我能够获取所有消息。

即使在 5 分钟后发布消息,我也可以在 Beam 应用程序的控制台中看到该消息

现在,我只更改ServerUriConnectionConfigurationof中的内容,MQTTIO.Read()并给出了topic该代理中可用的对应项。参考文档

此更改使应用程序以不同的方式工作,仅在控制台中打印消息频率较高的主题。当消息频率为每分钟 1 条消息或接近该频率范围时,只有第一条消息会在控制台中打印。

我什至尝试过withMaxNumRecordswithMaxReadTime但它仍然只列出了第一条消息。

由于消息之间的空闲,代理配置中是否发生了一些超时?

在跑步者中观察到相同的行为 - DirectRunner 和 FlinkRunner

使用参数将管道的选项更改--streaming=true为也不起作用