问题标签 [td-agent]

我有一个流利的客户端，它将日志转发到 logstash，最后通过 Kibana 进行查看。我尝试了几种配置来将时间戳更新为日志文件中的时间条目。但是，这样做没有运气。

这是我的 fluentd 配置文件的解析部分，

为什么这个配置不起作用？kibana 中的时间戳仍然是 fluent_time 而不是我的日志时间。

我还尝试在“匹配”中的“注入”部分添加 time_key，如下所示，这也不起作用。参考 -如何使用 fluent 为弹性搜索添加时间戳和密钥

除此之外，我还尝试了下面给出的 record_transformer，但也没有用。参考 - https://docs.fluentd.org/v0.12/articles/filter_record_transformer#renew_time_key-(可选,-string-type)

在每次尝试中，我也尝试过使用和不使用“@”作为 logtime。我也尝试在“源”部分中添加 time_key 组件，但这也不起作用。

Fluentd 和 ruby​​ 版本 - fluentd-1.0.2 ruby​​="2.4.2"

在这一点上，我难住了。我错过了什么？任何建议表示赞赏！

我有一个问题：无法安装包“TD-agent”。产生死锁的原因：

如果您尝试安装 ( sudo rpm -ivh /my/pass/td-agent-3.2.1-0.el7.x86_64.rpm) - 您有一个错误：

如果您尝试卸载它（rpm -e td-agent） - 还有另一个错误：

所以，我无能为力：不安装，不卸载......

请回答：如何手动卸载它？哪些 DIR RPM 用于安装软件包？

我正在尝试使用 Fluentd 在 Kubernetes 中实现Streaming Sidecar Container日志架构。

在一个吊舱中，我有：

• emptyDir Volume（作为日志存储）
• 应用容器
• Fluent 日志转发器容器

基本上，应用程序容器日志存储在共享的 emptyDir 卷中。Fluentd 日志转发器容器在共享的 emptyDir 卷中跟踪此日志文件，并将其转发到外部日志聚合器。

Fluentd 日志转发器容器使用以下配置td-agent.conf：

我正在使用环境变量来设置tag值，因此我可以动态更改它，例如，当我必须将此容器与不同的应用程序容器并排使用时，我不必修改此配置并再次重建此映像.

现在，我在 Kubernetes 中创建 pod 期间设置环境变量值：

部署 pod 后，我发现 Fluentd log-forwarder 容器中的 tag 值是空的（预期值：“app.service01”）。我想这是因为 Fluentd 的 td-agent 在TAG_VALUE分配环境变量之前首先初始化。

所以，主要问题是......
我如何动态设置 td-agent 的标签值？

但实际上，我想知道的是：
是否可以在 Kubernetes 中的容器初始化之前分配环境变量？

我有一个 td-agent 毫无问题地将消息发送到 Kafka 队列。但现在我收到以下错误。我没有运气重新启动代理。我没有运气手动刷新缓冲区。

欢迎任何关于正在发生的事情的建议

2019-03-20 16:44:06 +0100 [警告]：#0 发生发送异常：无法将消息发送到 test-250-events/0 2019-03-20 16:44:06 +0100 [警告]： #0 异常回溯：/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:330:in deliver_messages_with_retries' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:238:inblock in Deliver_messages'/ opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/instrumenter.rb:23:in instrument' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ruby-kafka-0.6.8/lib/kafka/producer.rb:231:inDeliver_messages' /opt/td-agent/embedded/ lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent/plugin/out_kafka_buffered.rb:281:in deliver_messages' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluent-plugin-kafka-0.7.9/lib/fluent/plugin/out_kafka_buffered.rb:344:inwrite' /opt/td-agent/embedded/lib/ruby/ gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/compat/output.rb:131:in write' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:1111:intry_flush' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/ fluentd-1.2.6/lib/fluent/plugin/output.rb:1394:inflush_thread_run' /opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin/output.rb:445:in块（2 级）在开始'/opt/td-agent/embedded/lib/ruby/gems/2.4.0/gems/fluentd-1.2.6/lib/fluent/plugin_helper/thread.rb:78:in `block在 thread_create' 2019-03-20 16:44:06 +0100 [信息]：#0 初始化 kafka 生产者：kafka 2019-03-20 16:44:06 +0100 [警告]：#0 未能刷新缓冲区。retry_time=5 next_retry_seconds=2019-03-20 16:44:05 +0100 chunk="58471660306e5c7712d0c2ff1a546048" error_class=Kafka::DeliveryFailed error="Failed to send messages to test-250-events/0" 2019-03-20 16 :44:06 +0100 [警告]: #0 抑制相同的堆栈跟踪

从服务器与 Kafka 集群有连接：

user@server:~$ telnet digital.servicebus.windows.net 9093 Trying 13.69.64.0... 连接到 digital-dev-01.servicebus.windows.net。转义字符是 '^]'。

先感谢您

我使用 td-agent 运行 fluentd 的环境如下：-

我在我的 conf 文件中使用 filter_parser 插件，如下所示：-

现在，当我通过以下命令重新启动 td-agent 时，我在命令输出中得到错误。

我的 conf 文件是正确的，因为我可以在 td 代理的日志文件中看到解析成功，如下所示：-

此外，当我尝试为来自 v0.12 的旧 fluentd 版本安装过滤器解析器时（td-agent2，它似乎可以工作并给我错误，例如格式字段是必需的，这是有道理的，因为 td-agentv3 没有任何格式参数。

当我删除此过滤器插件时，一切都对我有用，并且重新启动成功。

td-agentv3 的解析器插件似乎无法正常工作或被 td-agent 检测到。任何指导都会对我很有帮助。

当日志文件包含单个多行日志时，td-agent 无法从行发送日志。在添加新行之前，td-agent 不会获取日志

在 Windows 机器上安装了 td-agent。将 td-agent.conf 文件配置为从包含单个多行日志的文件中选择日志。在向文件添加新行之前，不会发送日志

td-agent.conf

abc.txt 日志文件：

2019-04-12 12:09:45 INFO abc.java 异常发生在 com.****************** 在 com.*************** *********** 在 com.************************

日志应该流向kafka，但它没有

我们需要将我们的 nodejs 应用程序日志保存为 MongoDB 中的记录。我们应该创建的大多数记录，但有些记录只需要更新。

我们想使用 Fluentd。我看到它可以选择将日志插入 mongo，但我找不到更新现有记录的方法。

有没有办法做到这一点？

这是我当前的 td-agent.conf（仍在开发中）：

如何为不在默认 /etc/td-agent/td-agent.conf 位置的 fluentd 配置文件启动 td-agent 服务？我试过了

但不确定如何在日志文件发生更改后重新启动服务！

我喜欢上面的日志，我只需要 grep 包含“SPECIFIC_LOG”的日志，我想忽略其他日志。

我试图像这样设置配置，

它适用于具有模式的匹配日志，但对于不匹配的日志，我收到警告说

如何仅 grep 匹配模式的日志，以便解决警告？

我正在使用带有 http 插件的 td-agent 将日志数据发送到另一台服务器。但是当使用我的配置文件启动 td-agent 时，我收到如下警告消息，

2019-09-06 11:02:15 +0900 [警告]：#0 次要类型应与主要类型相同 primary="Fluent::TreasureDataLogOutput" secondary="Fluent::Plugin::FileOutput"

这是我的配置文件，

它正在正确发送日志数据，但我也需要解决警告消息。如何解决警告？