apache-spark - 在 Spark Streaming (Spark 2.0) 中使用 Kafka

Answer 1

Spark 2.0 还不支持将 Kafka 作为无限 DataFrames/Set 的来源。计划在 2.1 中添加支持

编辑：（6.12.2016）

Kafka 0.10 现在在 Spark 2.0.2 中得到了 expiramentaly 支持：

val ds1 = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "host1:port1,host2:port2")
  .option("subscribe", "topic1")
  .load()

ds1
  .selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
  .as[(String, String)]