问题标签 [fluentd]

我正在寻找一种方法来测量使用流利的事件之间经过的时间。能够合并两个或更多事件也很棒。

直到现在我都在使用logstash。我的用例在 logstash 中有两个插件：

• 经过并合并。

我只是无法弄清楚如何用流利的方式做到这一点。我在这里想念什么？

例子：

我有一个包含进程日志的文本文件，如下所示：

我的目标是根据事件的时间戳测量完成子流程 1所花费的时间。这可以使用 logstash 中的 elapsed 过滤器轻松完成，但我不知道如何在 fluentd 中解决这个问题。

我想要一个 ：

.. 甚至更好，我想合并事件的一些字段（例如，开始事件的参数）：

我在服务器上使用 fluentd 来导出日志。

我的配置使用这样的东西来捕获几个日志文件：

可以正确跟踪不同的文件，但是，我还需要一项功能：

路径的两个通配符部分也应该添加到记录中（我们称它们为directoryand filename）。

如果in_tail插件将文件名添加到记录中，我可以编写一个格式化程序来拆分和编辑。

任何我遗漏或改写in_tail我心愿的东西是最好的方法吗？

我正在尝试在我的 linux 机器上安装 td-agent，但出现以下错误。

命令：

输出：

有没有其他方法可以安装？

当我运行 fluentd td-agent 使用tcp 插件从 tcp 端口 514 读取数据时，我发现错误为，

当我尝试从 TCP 端口读取数据时，我发现数据为

提前致谢

我现在已经尝试了一些日志收集服务，比如 logspout/papertrail 和 fluentd/elasticsearch，但结果并不总是以正确的顺序显示，这可能会使调试变得困难。一个示例是 Node.js 应用程序、console.log导致多行的命令或其堆栈跟踪错误。这些行都以相同的时间戳显示，我猜日志收集服务无法知道显示这些的顺序。有没有办法增加毫秒精度？或者以其他方式确保它们以与我docker logs执行命令相同的顺序显示？

更新：我还没有研究过，但是我看到了一些关于 fluent 或 elasticsearch 的东西，默认情况下在较新的版本中支持毫秒+精度

td-agent2 显示以下警告：

我尝试通过 修复此问题sudo /opt/td-agent/embedded/bin/fluent-gem cleanup，但此命令无法修复警告。

这没有问题吗？

https://gist.github.com/sanemat/09e5d995d9c607054dad

伙计们。我一直在我的 Rails 应用程序上使用 Fluentd，我想使用 DSL 编写 Fluentd 的配置文件。但是，我的配置文件不能正常工作。这可能是由一个点引起的。

这是我的配置文件。

而且，当我执行以下命令时，

“fuga”和“piyo”字段不正确。

你能明白为什么吗？请帮帮我...

谢谢。

我正在尝试为 fluentd 实现解析器插件。下面是配置文件和插件文件。

流利的配置文件。

插件文件

但是，该方法call在运行 fluentd 后不会执行。任何帮助是极大的赞赏。

我继续收到以下错误：

我尝试设置以下环境变量：

• 环境SSL_CERT_FILE=/path/to/my/cert.crt
• 环境SSL_CERT_DIR=/path/to/my
• 环境SSL_CERT_DIR=/etc/ssl/certs
• 环境SSL_CERT_FILE=/etc/ssl/certs/ca-certificates.crt

我尝试创建/home/td-agent/.bash_profile和更新/home/td-agent/.bashrc文件以导出类似的环境变量。当我运行 td-agent 服务时，我仍然得到这个错误。

我已经尝试在命令行中运行 td-agent 服务，并且存在前面提到的环境变量。

我已经dpkg-reconfigure ca-certificates使用我的自签名证书在适当的地方运行。/usr/share/ca-certificates/<my cert dir>/my-self-signed-cert.crt

我尝试在没有设置SSL_CERT_DIR或SSL_CERT_FILEenv vars 的情况下运行 td-agent。

注意。我能够 curl https://my.elasticsearch.myltd并得到 200 响应，所以我知道操作系统（Ubuntu）已经获取了我的证书。

至于版本，我正在运行 ubuntu 14.04 LTS，当我启动 td-agent 时，以下内容会打印到日志文件中/var/log/td-agent/td-agent.log：

我们有一个基于 Java 的企业应用程序，它使用 log4j 生成日志，我们希望将 Fluentd 与 Elasticsearch 和 Kibana 一起使用，如此处所述。我想将 Fluentd 配置为转发我们现有的日志而不使用新的记录器。我相信我们想要使用type tail它，因此我们可以将 Fluentd 指向正确的文件，但我认为我们需要一些关于如何td-agent.conf正确配置的示例。