performance - 为什么不通过在 elasticsearch 中设置刷新间隔来提高性能

Question

我观看了有关提高索引性能的网站备忘录。这是网站链接

此链接指导我如何提高性能。但是，当我使用 elasticsearch-py 批量处理 python api 时，它并没有提高 elasticsearch 的索引速度。

甚至所有配置更改都不会影响批量索引性能。

我使用了并行进程或线程。每秒最大平均 30000 个索引。

我有什么错？

主节点：1 个数据节点：5 个包括主节点 CPU：Intel(R) Xeon(R) CPU E5645 @ 2.40GHz RAM：32G

ES_HEAPSIZE：10G

谢谢

Answer 1

它实际上显着提高了性能（我这边超过 50%）。您只需要禁用 refresh_interval （完成索引数据后再次启用它）

curl -XPUT "http://localhost:9200/$INDEX_NAME/_settings" -d '{ "index" : { "refresh_interval" : "-1"  }}'

#index data......

curl -XPUT "http://localhost:9200/$INDEX_NAME/_settings" -d '{ "index" : { "refresh_interval" : "1s"  }}'