问题标签 [td-agent]

我正在使用 Fluentd 解析日志并将解析后的日志存储在 MongoDB 中。

我的应用程序正在生成以下日志：

Fluentd 正在正确解析日志，但不是时间（我猜）。因为 MongoDB 无法存储解析后的内容。它甚至没有反映在解析的日志中。下面是解析结果：

但是，我没有看到这里解析的时间。并怀疑这种行为，fluent-plugin-Mongo 写道：

[ warn ]: #0 从 v0.8 开始，无效记录检测将被删除，因为 Mongo 驱动程序 v2.x 和 API 规范不提供它。您可能会丢失无效记录，因此您不应将此类记录发送到 Mongo 插件

但是，当使用fluentular时，它会正确解析。这是我的尾部配置：

mongo插件配置如下：

任何帮助表示赞赏。谢谢！

我在 CentOs 7 中安装了 fluentD(td-agent) 版本 2。现在我无法启动 td-agent。在启动 td-agent 时它抛出了一些错误

-- 单元 td-agent.service 已经开始启动。2 月 2 日 14:53:39 chninitefk01 fluentd[2282]：/opt/td-agent/embedded/lib/ruby/site_ruby/2.1.0/rubygems.rb:271:in find_spec_for_exe': can't find gem fluentd (>= 0.a) (Gem::GemNotFoundException) Feb 02 14:53:39 chninitefk01 fluentd[2282]: from /opt/td-agent/embedded/lib/ruby/site_ruby/2.1.0/rubygems.rb:299:in activate_bin_path' 2 月 02 日 14:53:39 chninitefk01 fluentd [2282]：来自 /opt/td-agent/embedded/bin/fluentd:23:in `' Feb 02 14:53:39 chninitefk01 systemd[1]: td-agent.service: 控制进程退出，代码=退出状态=1 Feb 02 14:53:39 chninitefk01 systemd[1]：无法启动 td-agent：Treasure Data 基于 Fluentd 的数据收集器。-- 主题：单元 td-agent.service 失败 -- 定义者：systemd

我尝试使用 安装 fluentD gem td-agent-gem install fluentD，但这没有任何区别。

我有任何配置问题Fluentd；我想调用in_exec插件来启动调用 jar 的 Linux bash 脚本，但它不起作用。我的代码：

我的脚本是：

我不明白我错在哪里；如果我更改脚本（例如创建文件）一切正常，但如果我使用 java 命令它就不起作用。

请帮我！谢谢

我正在使用 fluentd(v1.0 td-agent3) 和 fluent-plugin-mongo。虽然设置了 time_format、time_key 和 include_time_key 参数，但 MongoDB 中的日期数据没有毫秒。如何配置以在 MongoDB 中节省毫秒？

log sender 上的 td-agent.conf 如下。我也配置了输出文件。

日志发送方的输出文件（部分）如下所示。Fluentd 可以在“logtime”中捕获毫秒。

使用 MongoDB 的日志接收器上的 td-agent.conf 如下。

日志接收器上的输出文件（部分）如下所示。我猜 Fluentd 可以正确接收“logtime”。

但是MongoDB的结果是这样的。毫秒（值 ,391）被删除。由于我住在 GMT+9:00 时区，MongoDB 中的“logtime”并不完全匹配。

任何帮助表示赞赏。提前致谢。

我正在按照步骤使用 td-agent 启用 TLS/SSL 加密，但我无法通过测试（https://docs.fluentd.org/v1.0/articles/in_forward#how-to-enable-tls /ssl-加密）：

1）创建证书，

2）安装它们，

3）配置td-agent.conf，

4）重新启动服务，

5）当我尝试测试时，

我在 /var/log/td-agent/td-agent.log 尾部得到这个，

为了确保我已经测试了自签名密钥/crt 对，

我在 ubuntu 服务器 16.04 上运行 td-agent 1.0.2。

老实说，我不知道从哪里继续..

使用命令时

在 mongo shell 中，我的查询返回：

我该如何解决这个权限问题？

我想知道如何让 td-agent 读取 Amazon linux2 上的 apache 日志文件。似乎 td-agent 没有读取日志文件的权限，但我无法解决此问题。我使用 vagrant 将 amazon linux2 安装到 virtualbox 中。

参考。 https://app.vagrantup.com/aibax/boxes/amazonlinux2 https://docs.fluentd.org/v1.0/articles/install-by-rpm#systemd

版本

• 虚拟盒子：5.2.16 r123759
• 流浪者：流浪者 2.1.2

1 使用 ansible 安装 apache 和 td-agent。

--

2. 运行阿帕奇

   $ sudo systemctl 启动 httpd

3. 确认 apache 从 chrome 工作。

4. 运行 td-agent 并确认

--

我正在尝试将 fluentd 作为 kubernetes 集群（GKE）上的守护进程运行。配置成功解析，然后插件收到关闭信号，并带有少量警告消息。没有错误消息。我尝试增加详细级别，以下是 pod 的输出：

流利的.conf：

谁能帮忙调试一下。提前致谢！

当我使用logstash时，我需要将日志存储到Es索引中，日期被追加到索引名称为logstash.2018-08-06，但是当我尝试在流动的conf中提供自定义名称时，它没有被添加

这是索引名称，由上面的 conf updatetest 创建。%Y%m%d --> 它应该像 updatetest.20180806

提前感谢您的帮助

当我尝试使用 td-agent 收集纱线日志时，我在 td-agent log 中收到此异常。

td-agent 安装在根目录下

意外错误 error_class=Errno::EACCES error="Permission denied @ rb_file_s_stat - /var/log/hadoop-yarn/containers/application_1540322839807_0001/container_1540322839807_0001_01_000001/stderr