问题标签 [td-agent]

因此，我试图捕获主机上运行的 docker 容器的输出，但是在开发人员更改为使用 json 作为容器的日志输出之后，我错过了 entrypoint.sh 中发生的容器启动消息. 我可以看到有人在配置文件中添加了一个新的过滤器部分，它非常适合捕获 json 输出，但只有 json 输出。

这是使用的模板：

如何设置配置以便能够在容器启动后捕获 entrypoint.sh 输出和 json 输出？

编辑。

过滤器拒绝发送到 docker 容器标准输出的消息，直到应用程序开始登录 json。

因此，我尝试捕获掉入 ERROR 标记的所有内容，并且可以看到丢失的消息，但它们仍然无法使用此配置进行解析：

我正在使用 fluentd 和 tg-agent 安装。而且我观察到我的默认 td-agent.log 文件正在增长，而没有任何日志轮换。

我正在使用以下命令运行 td-agent

我找到了下面的链接，它讲述了如何配置旋转，看起来这与 fluent 本身有关。

https://docs.fluentd.org/deployment/logging

任何人都知道如何使用我正在使用的命令配置旋转？我也有 td-agent 配置文件。

我是 fluentd 的新手，并使用它将数据摄取到弹性搜索。我有一个名为 request_time 的字段，其值为：110820120501 作为格式 [ddmmyyHHMMSS] 的数字。如何将其转换为日期字段。

这是我写的，但它不起作用。任何帮助表示赞赏。

示例 request_time 值：100820015642

我也尝试过以下方法：

如何将 request_time 存储为转换为值的日期字段，例如。“request_time”：“2020-08-11T11:24:23.000+0100”？

我已经在 redhat linux 系统（7.6 版）上安装了 EFK。fluentd的稳定分布，即用td-agent代替fluentd。日志文件的路径（/mnt/Log/Startup.log）在 td-agent.conf 文件中配置。但在 kibana 仪表板上，它显示来自 td-agent.log 而不是日志文件（Startup.log）的内容。

td-agent.log：

虽然上面的日志显示它正在拖尾 Startup.log。它仍然在 kibana 仪表板上显示来自 td-agent.log 的内容，而不是来自配置的日志文件的内容。我也可以在 kibana 上找到默认索引

td-agent.conf ：

版本详情：

Elasticsearch 版本 7.8.0 Fluentd (td-agent) 版本 3.8.0 Kibana 版本 7.8.0

我已经使用 rpms 安装了上述所有工具：

elasticsearch-7.8.1-x86_64.rpm td-agent-3.8.0-0.el7.x86_64.rpm kibana-7.8.1-x86_64.rpm

curl -X GET "localhost:9200/?pretty" 给出：

我能够在 kibana 上找到默认索引。

这里可能是什么问题？请帮忙。

我正在使用流利的 0.12。

我有以下日志-

现在，使用正则表达式，我将日志划分为几个字段 - TIME | LOG_LEVEL | 留言| 版本| TRAFFIC_TO| 从

现在，我要求当 fluentd 遇到字段 TRAFFIC_TO 的值“blue-connectorprocess”时，它应该添加新字段 NEW_TRAFFIC，并且该字段的值应该是 webconnector。

类似地，如果在 TRAFFIC_TO 中遇到值“httpRetrievedata”，则 NEW_TRAFFIC 字段应具有值 uiconnector。如果我遇到值“PromptConnector”，那么 NEW_TRAFFIC 的值应该是 checkconnector。

我为 TRAFFIC_TO 值之一尝试了下面的代码，但它没有用。

有人可以帮忙吗？

我遇到了一个我不明白的问题，提取 td-agent 的配置：

输出插件 newrelic 总是在抱怨 gelf failed to emit error="time must be a Fluent::EventTime (or Integer): Float" error_class="ArgumentError

我试图将 json 的字段时间戳编辑为纳秒，但这不是导致问题的原因。消息摘录：

我怀疑问题是最初的 2020-09-22 10:00:18.135967969 +0200。你怎么看 ？你能帮忙吗？

Java 模块写入单行日志：

每个新事件都粘贴到行尾。在 fluentd 设置中，我使用标准解析器：

如果我将日志中的事件分成几行，代理会毫无问题地将所有内容发送到弹性。如果所有内容都在一行中，则它不会发送任何内容。它不会在日志中写入任何信息。

写了一个单独的解析器

在 regex101.com 网站上，我的字符串被解析，但代理仍然不发送任何内容，直到它被分成单独的行。

请帮忙理解！

我已经在我的公司服务器上安装了 fluentd 以将日志传输到 Newrelic。我使用 Fluentd 是因为服务器上的 disto 是 Amazon Linux 1 并且 newrelic 代理不支持该版本中的日志转发（如果您想知道的话）。

日志位于以下文件夹下：/home/ec2-user/app/logs/main.log 我认为这不是最佳做法，但现在就是这样。td-agent 给了我关于此日志文件权限的错误，因为 ec2 用户没有其他人或组对该文件夹的权限，因为如果我更改它，之后我将无法访问 ssh。我也尝试了符号链接，但如果它有效，它当然没有意义。

请帮忙解决这个问题：）

我真的是 fluentd 配置的新手，需要帮助才能将此 logstash 配置转换为 fluentd 以开始使用

我们有一个带有以下标签的 td_agent.conf 文件：

以及以下示例日志行：

在 Fluentd 中具有上述逻辑时，我们会输出日志，并发出 log: {}，这意味着在弹性数据库中没有我们想要的信息。删除标签时，一切正常。谁能解释为什么需要这样做？

td-agent 的开始是：