问题标签 [fluentd]

我正在尝试使用以下配置在 fluentd 中跟踪多个日志：

这是行不通的。通常（但并非总是），我只获取第一个文件的日志。有时它是一个不同的文件，但它总是只有一个。关于发生了什么的任何想法？我在 fluentd 错误日志中没有收到任何有意义的错误。

我正在本地 VM 上设置 fluentd 和 elasticsearch 以尝试 fluentd 和 ES 堆栈。

操作系统：centos（最近）

我在 localhost 上启动并运行 elasticsearch（我将它与 logstash 一起使用，没有问题）

我已经按照 fluentd 网站的安装说明安装了 td-agent。我正在使用该配置文件：

这是启动日志：

我得到那个错误：

在端口 9200 上运行 tcpdump，我什么也没得到...

我正在设置一个 fluentd / elasticsearch / kibana 堆栈，我想在文档中注册我得到事件的文件名。

这是我的配置：

目前，我明白了：

我想拥有以下领域：

路径：/tmp/data/access

在我的 ES 文档中。

我会感谢一些帮助

我想从非 root 用户（td-agent）和主机服务器上监视 docker 容器日志，

但是容器目录回滚600，每个容器目录保持600。

如何监控每个json.log？或任何其他好的监控方式？

我刚刚开始使用 fluentd，但我希望能够设置一个输出匹配规则，如下所示：

这很好用，但我想找到一种方法将标签的名称进一步添加到输出文件名中；这可能吗？例如，如果我用它登录，myapp.debug我希望它写到logs/myapp.debug20140918T12_0.log，如果我用它登录，myapp.info它会写到logs/myapp.info20140918T12_0.logetc

有没有办法将标签添加到文件名中？

我正在尝试使用 fluentd 将 mongo 指标发送到 statsd，但我遇到了一些问题。

这是我的conf：

我看到了 mongo 日志，并且 td-agent 正在收集指标，但问题是，显然，td-agent 没有将指标发送到 statsd。通过运行确认它： sudo tcpdump -nn -i any udp and src host <your_ip>

有人解决过这个问题吗？

我的另一个疑问是如何在 conf 中配置“statsdkey”参数？

我正在尝试在我的本地环境（Ubuntu 14.04LTS）中设置 Fluentd、Elasticsearch 和 Kibana。我是这种技术的新手，我刚刚关注了这篇文章： https ://www.digitalocean.com/community/tutorials/elasticsearch-fluentd-and-kibana-open-source-log-search-and-visualization

这个我没有：Droplet with Ubuntu 14.04

但除此之外，我没有遇到任何错误，我认为我正确安装了所有东西。但是当我访问我的域时，kibana 只显示这个：http: //i.imgur.com/s8RVdBf.png

“需要升级您的 Elasticsearch 版本太旧。Kibana 需要 Elasticsearch 0.90.9 或更高版本。”

请帮忙。谢谢你。

如何使用 FluentD 在事件记录中创建值数组？

我已经从日志中解析了纬度和经度。如何将这些值转换为数组？

前任。我有一个像

2014-9-23T09:27:28.345 1411464370345 -37.0081,174.792 BBC SEARCH be03debe-b0af-4939-9abc-7c0ad25bb114 DEPARTURE 16 576.00 ROLLBACK

我已经解析了纬度=-37.0081 和经度=174.792。如何形成这样的 JSON 对象？

{location:[-37.0081,174.792]}

以及如何将字符串值解析为事件记录中的数据类型？像整数 /float / double

我读了一个文件并得到了一条记录为“台北”，然后我想将它格式化为下面的 mongoDB：

我尝试使用“。” ，但它不起作用

什么是正确的正则表达式，或者我应该尝试另一个插件？

Fluentd 之前从 nginx 日志文件中收集数据。现在我已经用我的新模块将 nginx access_log 放入了 redis。我想用 fluentd 从 redis 收集数据并将数据发送到 fluentd 服务器。那么如何从redis中收集数据呢？有人这样做过吗？