1

使用流 API，我可以编写一个 RichCoFlatMapFunction 接受控制流和数据流，控制流包含用于启动或停止或更改计算参数的元素，我知道我可以将当​​前控制设置存储在状态中，并且处理数据流时检查值。

但是用 Flink SQL 做类似事情的方法是什么？我不能将连接用作数据流，并且控制流无法连接在一起。

我们提出的解决方案是通过应用程序本身存储控制设置。这个想法是：

  1. 将控制流广播到 map 运算符，并将控制设置存储到其 map() 方法中的 java 单例对象中，因为 map 运算符将以默认并行度运行，我们假设它将在该作业的所有 JVM 上运行，这样我们就可以确保每个 JVM 都会初始化并不断更新单例对象中的控制设置。

  2. 使用 SQL，对于每个 UDAF 或 UDF，我们可以通过访问 java 单例对象来访问控制设置。

但我不确定我的假设是否正确，这是一个可行的解决方案。

4

1 回答 1

1

我不认为这是一个好主意。SQL 不是为此类用例而设计的。而是按指定优化和执行 SQL 查询。不打算更改查询的行为。除了设计角度之外，它也不会很好地执行，因为您需要为您处理的每条记录执行远程状态查找以分布式可查询状态。这当然会增加延迟。

对我来说，您的用例听起来更像是一个应用程序，而不是 SQL 查询。为此，DataStream API 将是正确的选择。您可以做的是将SQL（或Table API）查询嵌入到应用程序中，即使用SQL 进行预处理和后处理，并在中间有一个带有控制/数据流模式的运算符。

于 2018-03-23T07:48:26.780 回答