0

我有一个 td-agent 毫无问题地将消息发送到 Kafka 队列。但现在我收到以下错误。我没有运气重新启动代理。我没有运气手动刷新缓冲区。

欢迎任何关于正在发生的事情的建议

2019-03-20 16:44:06 +0100 [警告]:#0 发生发送异常:无法将消息发送到 test-250-events/0 2019-03-20 16:44:06 +0100 [警告]: #0 异常回溯:/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:330:in deliver_messages_with_retries' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:238:inblock in Deliver_messages'/ opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/instrumenter.rb:23:in instrument' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:231:inDeliver_messages' /opt/td-agent/embedded/ lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent/plugin/out_kafka_buffered.rb:281:in deliver_messages' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent/plugin/out_kafka_buffered.rb:344:inwrite' /opt/td-agent/embedded/lib/ruby/ gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/compat/output.rb:131:in write' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:1111:intry_flush' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ fluentd-1.2.6/lib/fluent/plugin/output.rb:1394:inflush_thread_run' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:445:in块(2 级)在开始'/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin_helper/thread.rb:78:in `block在 thread_create' 2019-03-20 16:44:06 +0100 [信息]:#0 初始化 kafka 生产者:kafka 2019-03-20 16:44:06 +0100 [警告]:#0 未能刷新缓冲区。retry_time=5 next_retry_seconds=2019-03-20 16:44:05 +0100 chunk="58471660306e5c7712d0c2ff1a546048" error_class=Kafka::DeliveryFailed error="Failed to send messages to test-250-events/0" 2019-03-20 16 :44:06 +0100 [警告]: #0 抑制相同的堆栈跟踪

从服务器与 Kafka 集群有连接:

user@server:~$ telnet digital.servicebus.windows.net 9093 Trying 13.69.64.0... 连接到 digital-dev-01.servicebus.windows.net。转义字符是 '^]'。

先感谢您

4

1 回答 1

0

我们遇到完全相同的问题。在 Azure 北欧的 Kubernetes 集群中使用 Kafka 输出运行 fluentd。

3 月 19 日下午 1 点左右,它刚刚停止了多个集群的工作。

编辑:我们最终找到了解决方案。基本上确保你有更高版本的 ruby​​-kafka 和/或 fluent-kafka-plugin

我们通过在 Kubernetes 清单中实现这一点。

容器:- 名称:fluentd 镜像:fluent/fluentd-kubernetes-daemonset:v1.3.3-debian-kafka-1.2 命令:["/bin/sh"] 参数:["-c", "cp /fluent-config/ *.conf /fluentd/etc/ && gem install fluent-plugin-detect-exceptions && gem install fluent-plugin-prometheus && gem update fluent-plugin-kafka &&/fluentd/entrypoint.sh"]

于 2019-03-21T13:59:28.907 回答