0

我正在使用 EFK 设置，在 Kibana 中显示日志时遇到问题。Kibana 在 Elasticsearch 和 kibana 中显示 5 分钟后的日志。我的 Fluentd 配置-

文件配置：02_apps.conf：|

  <filter kubernetes.var.log.containers.**>
    @type record_transformer
    <record>
      log_json ${record["log"]}
    </record>
  </filter>

  <filter kubernetes.var.log.containers.**>
    @type parser
    @log_level debug
    key_name log_json
    reserve_data true
    remove_key_name_field true
    emit_invalid_record_to_error false
    <parse>
      @type json
    </parse>
  </filter>    
  
  <match kubernetes.var.log.containers.**>
    @type elasticsearch
    @log_level debug
    suppress_type_name true
    host "es-logging-perf-lb"
    port 80
    reload_connections false
    logstash_format true
    logstash_prefix ${$.kubernetes.labels.app}
    reconnect_on_error true
    reload_on_failure true
    reload_connections false
    request_timeout 2147483648
    num_threads 4
    <buffer tag, $.kubernetes.labels.app>
       @type file
       path /var/log/fluentd-buffers/kubernetes-test.system.buffer
       flush_mode interval
       retry_type exponential_backoff
       flush_thread_count 4
       flush_interval 5s
       #timekey_wait 0s
       retry_forever true
       retry_max_interval 30
       chunk_limit_size 50M
       queue_limit_length 32
       overflow_action block
    </buffer>
  </match>

我的设置 Fluentd > Elastisearch 并处理 300 tps 事务。ES-data-nodes (5) > 8核CPU和32内存

ES- 主节点和摄取节点 > 4 核 CPU 和 16 内存 请分享您的建议和意见。

4

0 回答 0