我似乎遇到了一个问题,即 Spark 写入 Elasticsearch 的速度非常慢,并且在建立初始连接时需要很长时间(大约 15 分钟),在此期间 Spark 和 Elasticsearch 都保持空闲状态。在弹性社区中还有另一个线程强调了相同的问题,但它已被关闭,没有任何解决方案。
这就是我从 Spark 写入 ES 的方式:
vgDF.write.format("org.elasticsearch.spark.sql").mode('append').option("es.resource", "demoindex/type1").option("es.nodes", "*ES IP*").save()
火花规格
Spark 2.1.0
3 cpu x 10 gb ram x 6 executors
running on 3 gce nodesSpark 2.1.0
弹性搜索规范:
8 cpu * 30 gb RAM single node
ES 版本:
Elasticsearch: 6.2.2
ES-Hadoop: 6.2.2
供您参考,Spark 从 Cassandra DB 读取数据,处理结果(但这个过程非常快,大约需要 1 到 2 分钟),然后写入 Elasticsearch。
任何帮助将不胜感激
[编辑]
我还尝试将数据大小从数百万条记录更改为仅 960 条记录,但初始延迟仍然相同(大约 15 分钟)。