apache-spark - Spark 结构化流

Question

如何通过单个作业在 Kafka 流上运行多个流式 SQL 查询。结构化流媒体是一种可靠的前进方式。例如，我在单个作业中对流运行 10 个查询。假设我只想运行 9 个查询，有没有办法动态更改每次运行时从商店运行的查询。我希望在每次执行流式查询（即连续查询）时从存储中动态选择查询。

Answer 1

如果你想处理多个查询，你应该使用spark.streams.awaitAnyTermination()

val spark = SparkSession
      .builder()
      .getOrCreate() 
val query1 =  spark ... 
val query2 =  spark ...  
spark.streams.awaitAnyTermination()

然后，您可以从 Stream 读取 SQL 原始查询并将其值用于其他流，而不会出现任何问题。