apache-spark - spark如何读取几列elasticsearch？

Question

在es集群中，数据规模很大，我们使用spark计算数据，但是采用的方式elasticsearch-hadoop，后面是https://www.elastic.co/guide/en/elasticsearch/hadoop/current/spark.html

我们必须读取索引的完整列。有什么可以帮助的吗？

Answer 1

是的，您可以分别设置配置参数“es.read.field.include”或“es.read.field.exclude”。完整的细节在这里。假设 Spark 2 或更高版本的示例。

val sparkSession:SparkSession = SparkSession
  .builder()
  .appName("jobName")
  .config("es.nodes", "elastichostc1n1.example.com")
  .config("es.read.field.include", "foo,bar")
  .getOrCreate()