0

我正在使用 Spark 2.0.2,我不想更新到新版本。我想将结构化流用于读取流 Kafka 并将流写入 HDFS。

val df = spark.readStream.format("kafka").option("kafka.bootstrap.servers", "node1:8667,node2:8667").option("subscribe", "multi-events").option("startingOffsets", "latest").load()

如何在不使用 foreachBatch 的情况下将流写入 HDFS?我不知道如何使用 Spark 2.0.2 将流写入 HDFS。

4

0 回答 0