9

问题：自从从 ES-5.4 升级到 ES-7.2 后，当我尝试从我的多线程 Java 应用程序（使用java 客户端）
编写并发批量请求（或/和搜索请求）时，我开始收到“数据太大”错误elasticsearch-rest-high-level-client-7.2.0.jar到 2-4 个节点的 ES 集群。

我的 ES 配置：

Elasticsearch version: 7.2

custom configuration in elasticsearch.yml:   
    thread_pool.search.queue_size = 20000  
    thread_pool.write.queue_size = 500

I use only the default 7.x circuit-breaker values, such as:  
    indices.breaker.total.limit = 95%  
    indices.breaker.total.use_real_memory = true  
    network.breaker.inflight_requests.limit = 100%  
    network.breaker.inflight_requests.overhead = 2

来自 elasticsearch.log 的错误：

    {
      "error": {
        "root_cause": [
          {
            "type": "circuit_breaking_exception",
            "reason": "[parent] Data too large, data for [<http_request>] would be [3144831050/2.9gb], which is larger than the limit of [3060164198/2.8gb], real usage: [3144829848/2.9gb], new bytes reserved: [1202/1.1kb]",
            "bytes_wanted": 3144831050,
            "bytes_limit": 3060164198,
            "durability": "PERMANENT"
          }
        ],
        "type": "circuit_breaking_exception",
        "reason": "[parent] Data too large, data for [<http_request>] would be [3144831050/2.9gb], which is larger than the limit of [3060164198/2.8gb], real usage: [3144829848/2.9gb], new bytes reserved: [1202/1.1kb]",
        "bytes_wanted": 3144831050,
        "bytes_limit": 3060164198,
        "durability": "PERMANENT"
      },
      "status": 429
    }

想法：
我很难确定问题的根源。
当使用 <=8gb 堆大小的 ES 集群节点（在 <=16gb vm 上）时，问题变得非常明显，因此，一个明显的解决方案是增加节点的内存。
但我觉得增加内存只会隐藏问题。

问题：
我想了解哪些情况可能导致此错误？
我可以采取什么措施来正确处理它？
（更改断路器值，更改 es.yml 配置，更改/限制我的 ES 请求）

4

2 回答 2

6

原因是节点的堆非常满并且被断路器捕获很好，因为它可以防止节点运行到OOM，变得陈旧和崩溃......

Elasticsearch 6.2.0引入了断路器并在7.0.0中对其进行了改进。随着版本从 ES-5.4 升级到 ES-7.2，您将直接进入这一改进。

到目前为止，我看到了 3 个解决方案：

  1. 如果可能，增加堆大小
  2. 如果可行，减少批量请求的大小
  3. 当分片消耗大量堆时，横向扩展您的集群，没有任何东西可以处理大型请求。更多节点将有助于集群在更多节点之间分配分片和请求，从而降低所有节点上的 AVG 堆使用率。

作为一种丑陋的解决方法（不解决问题），可以在阅读并理解其含义后增加限制：

于 2020-02-05T18:38:21.760 回答
5

所以我花了一些时间研究 ES 究竟是如何实现新的断路器机制的，并试图理解为什么我们会突然出现这些错误？

  1. 断路器机制从第一个版本开始就存在。
  2. 从版本 5.4 迁移到 7.2 时，我们开始遇到问题
  3. 在 7.2 版 ES 中引入了一种计算熔断的新方法：基于真实内存使用的熔断（为什么和如何：https ://www.elastic.co/blog/improving-node-resiliency-with-the-real -memory-circuit-breaker，代码：https ://github.com/elastic/elasticsearch/pull/31767 ）
  4. 在我们内部将 ES 升级到 7.2 版本时，我们将 jdk 从 8 更改为 11。
  5. 同样作为我们内部升级的一部分，我们更改了 jvm.options 默认配置，将官方推荐的 CMS GC 切换为 G1GC GC，后者具有相当新的 elasticsearch 支持。
  6. 考虑到上述所有情况，我发现这个在 7.4 版中修复的关于断路器与 G1GC GC 一起使用的错误：https ://github.com/elastic/elasticsearch/pull/46169

怎么修：

  1. 将配置更改回 CMS GC。
  2. 或者，进行修复。该错误的修复只是一个配置更改，可以在您的部署中轻松更改和测试。
于 2020-06-24T20:04:40.033 回答