问题标签 [fluentd]

我们的团队现在使用 zabbix 进行监控和警报。此外，我们使用 fluent 将日志收集到中央 mongoDB 并投入使用一周。最近我们在讨论另一个解决方案——Logstash。我想问他们有什么区别？在我看来，我希望将 zabbix 用作数据收集和警报发送平台，而 fluent 在整个基础架构中扮演“数据收集”的角色。虽然我查看了 Logstash 网站并发现 Logstash 不仅是一个日志收集系统，而且还是一个用于收集、呈现和搜索的完整解决方案。

谁能给点建议或分享一些经验？

我正在使用 tail 和 fluent-plugin-mongo将 Apache 组合日志格式写入 mongoDB，但我想自定义一些属性格式以写入 mongoDB，例如

• 拆分路径到新属性

{

}

至

{

}

• 将日期时间格式从 ISODate("2011-11-27T07:56:34Z" 更改为 "2011-11-27 07:56:34"

• 上限时间戳到最近的 5 分钟，例如。12:33:22 => 12:35:00

• 添加一些功能，例如 from

{

}

至

{

}

那有可能吗？我不知道应该使用哪些插件。我已经阅读了文档，但我没有得到它，因为它没有很多示例。

我对Ruby很陌生，所以如果我的问题听起来很傻，请原谅...

我想使用一个名为 Fluentd 的基于 Ruby 的日志框架——它可以作为 Ruby Gem 安装。

如何将其转换为常规 Ruby 应用程序，以便我可以通过 Cloud PaaS 部署它？此外，为该应用程序的功能创建 Web 服务端点的最简单/最快的方法是什么？基本上我想从一个java应用程序中使用它。

我已经通过命令“gem install fluent-plugin-kafka”为我的 fluentd 安装了 output_kafka 插件。

但是当我启动 fluentd 服务时，我在日志文件中收到以下错误消息：

2012-11-09 18:18:39 +0800: 暂时刷新缓冲区失败，下次重试将在 2012-11-09 18:52:46 +0800。error="未初始化常量Kafka::Message " 实例=69952455476860

似乎 output_kafka.rb 找不到模块 Kafka 或类消息，那么我该如何解决呢？

我正在尝试使用代码中的记录器从 Django 项目中设置 Fluentd 日志处理程序：

handler.FluentHandler来自包fluent-logger，我在fluent本地运行。

流利的.conf：

当我从非 django python 项目运行它时，它工作正常，但是当从 django 调用它时，它什么也不做。

问题是：有没有办法查看当前安装的记录器及其处理程序，以便我可以调试这种情况？

[编辑]

从 django 设置完成后，如下所示：

它确实有效。但是，我希望能够从代码中执行此操作，因为foo.bar.baz它可以采用许多值，并且我不想用 20 个完全相同的记录器和处理程序污染这个文件。

也许真正的问题是：为什么我不能logging在 Django 执行它的设置之后从代码中添加记录器？

我遇到了 FLUENTD gem 安装的问题。
问题：：

问题 ::如何解决这个cool.io依赖问题，以便我可以继续安装 Fluentd？

相关链接:: https://rubygems.org/gems/fluentd

I've come across Fluentd. Why would you use such a thing when its easy enough to store raw data on a db directly? I might be misunderstanding the use of the technology here. Glad to hear some feedback.

Why would anyone want to go through another layer, when its easy enough to capture and store raw data in your own a data store?

Consider this scenario. I want to store page views. Raw data is stored in an RDBMS and formatted data is stored in Mongodb This is a short description of my current setup:

When a user visits my site. My application (Rails) resolves the IP to a match a country. After the IP is resolved, I store the raw data into an RDBMS. I have a worker/cron running to process all the raw data into a Mongo document every hour. Why would I need fluentd there? What are the benefits of having a logging framework in this instance?

我正在研究一个正在考虑使用流利的项目。我需要实时解析nginx访问日志，可能使用in_tail。但是当发生日志轮换时就会出现一个问题。

在这种情况下，fluentd 完成 tail 直到 DAY1 23:59:00。下一次预定的运行时间为 2 分钟。所以它将在 DAY2 01:01:00 再次运行。同时轮换了 nginx 访问日志（文件很可能被截断）。假设每分钟有 1000 个日志条目。fluentd如何在轮换后检索DAY1的最后一分钟。谁能给我一些指示？

我目前正在对异步事件日志项目进行一些研究。在fluentd的文档中，我看到了内置in_forward插件。我正在尝试将它与 fluentd 的 php 事件记录器一起使用。我正在尝试使用 fluentd 的不同插件将本地日志转发到中央日志服务器。例如，我使用 cassandra-cql 插件将事件日志保存在 cassandra 列族上。

所以，这是我的问题；

使用时我究竟什么时候得到响应forward？

是在本地 td-agent 上成功写入之后吗？是在成功编写 cassandra 之后吗？它是完全异步的吗？

例如，考虑fluentd项目：https ://github.com/fluent/fluentd/blob/master/bin/fluentd

执行完之后git clone，我可以在文件夹中运行服务器bin，例如

在这个文件中，我可以看到它将加载lib根文件夹中的文件夹

由于在cool.io成功运行该项目之前需要安装一些依赖项，如何在lib文件夹中下载并安装所有需要的依赖项？