问题标签 [fluentd]

我正在使用 fluentd 来跟踪日志文件并将日志推送到弹性搜索索引。我有两个问题——

1）fluentd如何存储给定文件最后读取的位置？我的 pos 文件中的一个示例是 -

这些值00000000004cfccb和0000000000116ce0表示什么？

2) 这个特定的文件 ( myfile.log) 总共有 2520 行。由于某种原因，最后 100 行没有被读取。我重新启动了 td 代理，但它仍然无法读取最后 100 行。什么时候会发生？

我的 td-agent 源看起来像这样 -

谢谢，

我试图从字符串中提取相同的数据（但在不同的“块”中多次。用例是在 Fluentd 中解析来自 Fastly 的 Syslog 消息。

我有这个日志行：

2015-08-27T12:36:58Z cache-foo1234 Name[123456]: 4.151.22.16 "-" "-" POST /api/v1/foo/61ea23fb-53fb-4364-a892-349fdf5f6dca/event?release_type=store&version=2%2E0%2E1&os=ios&device_os_version=8%2E4&device_type=iphone 304 MISS BC942858-64FA-4101-BAE1-19272490697F iPhone 5S

到目前为止，这个正则表达式（Ruby Regex）：

^(?<time>[^ ]*) (?<fastly_server>[^ ]*) (?<log_name>[^ ]*) (?<host>[^ ]*) (?<na>[^ ]*) (?<na2>[^ ]*) (?<http_method>[^ ]*) (?<http_request>[^ ]*) (?<http_status>[^ ]*) (?<cache_status>[^ ]*) (?<uuid>[^ ]*) *(?<device_model>.*)$

这给了我：

• time2015-08-27T12:36:58Z
• fastly_server 缓存-foo1234
• log_name 姓名[123456]：
• host 4.151.22.16
• http_method邮政
• http_request /api/v1/foo/61ea23fb-53fb-4364-a892-349fdf5f6dca/event?release_type=store&version=2%2E0%2E1&os=ios&device_os_version=8%2E4&device_type=iphone
• http_status304
• cache_status 错过
• uuid BC942858-64FA-4101-BAE1-19272490697F
• device_model iPhone 5S

这是完美的，但我怎么能回去提取即。61ea23fb-53fb-4364-a892-349fdf5f6dca，event以及device_os_version来自具有相同正则表达式的相同字符串的值？

我正在尝试实现这一点： http ://www.tipstuff.org/2014/01/Postfix-log-centralize-and-analysis-in-realtime-with-fluentd-elasticsearch-and-kibana-part-4.html

我拥有使用此配置的所有功能：

但是当我添加 logstash_format true 时，它​​不起作用。我迫切需要我的 ES 索引中的时间戳来让 Kibana 按需要工作。

我试图在 td-agent 初始化脚本（-vv 选项）中添加详细日志记录，但我没有得到任何有价值的东西。

任何解决此问题的意见将不胜感激。

我正在努力解决 fluentd 和 influxdb 之间的数据丢失问题。

将 fluent-plugin-influxdb 插件与此配置一起使用：

在比较文件输出和 influxdb 中的数据时，我发现：

日志中有 2355 行，但数据库中只有 582 条记录。

我已经启用了来自 influxdb 和 fluentd 的调试/跟踪日志记录，但到目前为止日志中没有什么有趣的。

有任何想法吗？

1. Logstash 转发器很轻，但从 logstash 转发器到 logstash ，网络存在延迟。[如果我在一台机器上使用 Logstash 转发器并将日志发送到另一台机器上的 Logstash]

2. Flume /Flume-ng ：相同数据量的 CPU 使用率很高（例如 2 MB，大约 20%）

3. Fluentd ：不使用 java，它基于 CRuby ，但它的 CPU 利用率在峰值时间也是 30%，.

根据我们的用例，我们不想在我的生产机器上增加大量负载来转发日志，如果我使用logstash，我将引入新的单点故障，所以我很困惑在其中选择一个。

我正在尝试使用 fluentd 为 docker 环境创建一个集中式日志记录系统。目前，我可以使用 fluentd docker logging 驱动程序将 docker 日志发送到 fluentd，与使用 in_tail 方法读取 docker 日志文件相比，这是一种更简洁的解决方案。但是，我目前正面临多行日志问题。

从上图中可以看出，多行日志是乱序的，这对用户来说非常混乱。有什么办法可以解决这个问题吗？

谢谢。

连续波

我需要一些帮助来解决以下问题。

我有一个spring boot应用程序，我想fluentd使用logback.

我创建了一个名为logback.xmlmy的文件，src/main/resources其中包含以下内容：

在我的build.gradle我有：

当我使用 gradle bootRun 启动应用程序时，我收到以下消息：

我在这里找到https://github.com/spring-projects/spring-boot/blob/master/spring-boot-docs/src/main/asciidoc/spring-boot-features.adoc说 logback.xml加载得太早了，所以我需要使用一个名为logback-spring.xml.

我已经做到了，就像从未加载文件一样，没有错误，但没有任何东西到达我的 fluetd 套接字。

知道如何解决吗？

谢谢。抄送

我尝试通过 bq 命令将日志从 Google Cloud Storage 加载到 BigQuery，但出现此错误“无法将值转换为字符串”。

我的示例数据

我的示例架构

似乎 ID 无法通过单个 ID 的无引号进行转换。数据是用fluent-plugin-s3做的，但是多个用逗号连接的ID可以用引号绑定，不能做单个ID。

如何将这些数据加载到 BigQuery？

提前致谢

根据http://www.fluentd.org/faqs， td-agent 是

默认情况下在哪里启用？我在配置文件中看不到任何关闭此默认设置的条目。我错过了什么吗？

我在 6 台机器上进行了 fluentd 设置，所有机器都将应用程序日志和系统日志发送到elasticsearch，但我想在消息中添加 IP 地址。

请帮忙。