3

我似乎遇到了一个问题,即 Spark 写入 Elasticsearch 的速度非常慢,并且在建立初始连接时需要很长时间(大约 15 分钟),在此期间 Spark 和 Elasticsearch 都保持空闲状态。在弹性社区中还有另一个线程强调了相同的问题,但它已被关闭,没有任何解决方案。

这就是我从 Spark 写入 ES 的方式:

vgDF.write.format("org.elasticsearch.spark.sql").mode('append').option("es.resource", "demoindex/type1").option("es.nodes", "*ES IP*").save()

火花规格

Spark 2.1.0 3 cpu x 10 gb ram x 6 executors running on 3 gce nodesSpark 2.1.0

弹性搜索规范:

8 cpu * 30 gb RAM single node

ES 版本:

Elasticsearch: 6.2.2 ES-Hadoop: 6.2.2

供您参考,Spark 从 Cassandra DB 读取数据,处理结果(但这个过程非常快,大约需要 1 到 2 分钟),然后写入 Elasticsearch。

任何帮助将不胜感激

[编辑]

我还尝试将数据大小从数百万条记录更改为仅 960 条记录,但初始延迟仍然相同(大约 15 分钟)。

4

1 回答 1

2

看起来 ES 连接超时。检查您提供的 IP 地址是否可以访问 ES。如果您使用的是公共 IP,请尝试将其更改为私有 IP

于 2018-04-02T09:47:58.110 回答