elasticsearch - FluentBit 和 ES 的日志条目重复和丢失

Question

我们FluentBit用于将微服务日志发送到ES其中一个环境，最近发现了一个问题：一些日志条目重复（多达数百次），而其他条目丢失ES/Kibana但可以在微服务的容器中找到（kubectl logs my-pod -c my-service）。
每个重复的日志条目都有一个唯一的_id，_fluentBitTimestamp所以看起来问题出在 FluentBit 这边。

FluentBit 版本为 1.5.6，配置为：

[SERVICE]
    Flush        1
    Daemon       Off
    Log_Level    info
    Log_File     /fluent-bit/log/fluent-bit.log
    Parsers_File /fluent-bit/etc/parsers.conf
    Parsers_File /fluent-bit/etc/parsers_java.conf

[INPUT]
    Name              tail
    Path              /home/xng/log/*.log
    Exclude_Path      /home/xng/log/*.zip
    Parser            json
    Buffer_Max_Size   128k

[FILTER]
    Name record_modifier
    Match *
    Record hostname ${HOSTNAME}

[OUTPUT]
    Name  es
    Match *
    Host es-logging-service
    Port 9210
    Type flink-logs
    Logstash_Format On
    Logstash_Prefix test-env-logstash
    Time_Key _fluentBitTimestamp

任何帮助将非常感激。