elasticsearch - elasticsearch-hadoop如何根据不同的ES集群创建两个RDD

Question

我需要加入来自两个不同 ES 集群的两个 Rdd，但我发现我只能基于一个 ES 集群创建一个 SparkConf 和 SparkContext。例如如下代码：

var sparkConf: SparkConf = new SparkConf()
sparkConf.set("es.nodes", "192.168.0.22:9200")
val rdd1=sc.esRDD("userIndex1/type1")

那么如何从不同的 ES 集群创建两个 RDD 呢？

Answer 1

有一个cfg参数esRDD。您可以使用val rdd1=sc.esRDD("userIndex1/type1", Map("es.nodes" -> "192.168.0.22:9200")来设置配置。