1

看到使用 spark java 对 Elasticsearch 的低写入次数。

以下是配置

ES集群使用13.xlarge机器

 4 instances each have 4 processors.
 Set refresh interval to -1 and replications to '0' and other basic 
 configurations required for better writing.

火花：

2 节点 EMR 集群

 2 Core instances
  - 8 vCPU, 16 GiB memory, EBS only storage
  - EBS Storage:1000 GiB

1 Master node
  - 1 vCPU, 3.8 GiB memory, 410 SSD GB storage

ES 索引在映射中定义了 16 个分片。

运行作业时具有以下配置，

executor-memory - 8g
spark.executor.instances=2
spark.executor.cores=4

并使用

es.batch.size.bytes - 6MB
es.batch.size.entries - 10000
es.batch.write.refresh - false

使用此配置，我尝试加载 100 万个文档（每个文档的大小为 1300 字节），因此每个 ES 节点加载 500 条记录/文档。

并在火花日志中看到每个任务

 -1116 bytes result sent to driver

火花代码

    JavaRDD<String> javaRDD = jsc.textFile("<S3 Path>");
    JavaEsSpark.saveJsonToEs(javaRDD,"<Index name>");

此外，当我查看 ES 集群中的网络内图时，它非常低，并且我看到 EMR 没有通过网络发送大量数据。有没有办法告诉 Spark 发送正确数量的数据以加快写入速度？

或者

是否还有其他我想调整的配置。因为我看到每个 es 实例每秒 500 个文档较低。有人可以指导此设置缺少的内容以提高我的 es 写入性能吗

提前致谢

4

1 回答 1

0

你这里可能有问题。 spark.executor.instances=2

您仅限于两个执行程序，根据您的集群配置，您可以有 4 个。我会将其更改为 4 或更大。我也可以尝试 executor-memory = 1500M，cores=1，instances=16。我喜欢在我的记忆中留下一点开销，这就是我从 2G 降到 1.5G 的原因（但你不能做 1.5G，所以我们必须做 1500M）。如果您通过执行程序进行连接，这将提高性能。

需要一些代码来进一步调试。我想知道您是否仅在您的驱动程序中连接到弹性搜索，而不是在您的工作节点中。这意味着您只能获得一个连接，而不是每个执行者的一个连接。

于 2017-10-18T15:54:28.683 回答