apache-spark - 如何使用 Spark 将多个 Kafka 主题读取到单独的数据帧中

Question

我正在将数据发布到 2 个名为“akr”和“akr2”的 afka 主题。如何在单独的数据框中读取它们？

Answer 1

根据Spark + Kafka 集成指南并假设您计划使用结构化流处理它们，您可以定义所需的两个数据帧，如下所示：

val df1 = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "host1:port1,host2:port2")
  .option("subscribe", "akr")
  .load()
  .selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")

val df2 = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "host1:port1,host2:port2")
  .option("subscribe", "akr2")
  .load()
  .selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")

只要您在 Dataframe 上执行一些 Spark操作，就会使用上述两个主题的数据。