scala - Spark结构化流ForeachWriter无法获取sparkContext

Question

我正在使用Spark 结构化流从Kafka 队列中读取JSON 数据，但我需要将JSON 数据写入Elasticsearch。

但是，我无法将sparkContextJSONForeachWriter转换为 RDD。它抛出 NPE。

如何SparkContext进入 Writer 将 JSON 转换为 RDD？

Answer 1

你不能。ForeachWriter在执行程序中运行的方法。您可以自己编写 Elasticsearch 接收器，也可以调用 Elasticsearch 的原始 API 来写入数据。