“fluentd”的相关标签问题_Stack Overflow中文网

0 投票

3 回答

7314 浏览

fluentd - fluentd in_tail 插件 pos_file 内容格式

我正在使用 fluentd 来跟踪日志文件并将日志推送到弹性搜索索引。我有两个问题——

1）fluentd如何存储给定文件最后读取的位置？我的 pos 文件中的一个示例是 -

这些值00000000004cfccb和0000000000116ce0表示什么？

2) 这个特定的文件 ( myfile.log) 总共有 2520 行。由于某种原因，最后 100 行没有被读取。我重新启动了 td 代理，但它仍然无法读取最后 100 行。什么时候会发生？

我的 td-agent 源看起来像这样 -

谢谢，

fluentd

0 投票

1 回答

70 浏览

ruby - 正则表达式匹配组回顾

我试图从字符串中提取相同的数据（但在不同的“块”中多次。用例是在 Fluentd 中解析来自 Fastly 的 Syslog 消息。

我有这个日志行：

2015-08-27T12:36:58Z cache-foo1234 Name[123456]: 4.151.22.16 "-" "-" POST /api/v1/foo/61ea23fb-53fb-4364-a892-349fdf5f6dca/event?release_type=store&version=2%2E0%2E1&os=ios&device_os_version=8%2E4&device_type=iphone 304 MISS BC942858-64FA-4101-BAE1-19272490697F iPhone 5S

到目前为止，这个正则表达式（Ruby Regex）：

^(?<time>[^ ]*) (?<fastly_server>[^ ]*) (?<log_name>[^ ]*) (?<host>[^ ]*) (?<na>[^ ]*) (?<na2>[^ ]*) (?<http_method>[^ ]*) (?<http_request>[^ ]*) (?<http_status>[^ ]*) (?<cache_status>[^ ]*) (?<uuid>[^ ]*) *(?<device_model>.*)$

这给了我：

time2015-08-27T12:36:58Z
fastly_server 缓存-foo1234
log_name 姓名[123456]：
host 4.151.22.16
http_method邮政
http_request /api/v1/foo/61ea23fb-53fb-4364-a892-349fdf5f6dca/event?release_type=store&version=2%2E0%2E1&os=ios&device_os_version=8%2E4&device_type=iphone
http_status304
cache_status 错过
uuid BC942858-64FA-4101-BAE1-19272490697F
device_model iPhone 5S

这是完美的，但我怎么能回去提取即。61ea23fb-53fb-4364-a892-349fdf5f6dca，event以及device_os_version来自具有相同正则表达式的相同字符串的值？

0 投票

1 回答

1095 浏览

ruby - fluent-plugin-elasticsearch：logstash_format true 不工作

我正在尝试实现这一点： http ://www.tipstuff.org/2014/01/Postfix-log-centralize-and-analysis-in-realtime-with-fluentd-elasticsearch-and-kibana-part-4.html

我拥有使用此配置的所有功能：

但是当我添加 logstash_format true 时，它不起作用。我迫切需要我的 ES 索引中的时间戳来让 Kibana 按需要工作。

我试图在 td-agent 初始化脚本（-vv 选项）中添加详细日志记录，但我没有得到任何有价值的东西。

任何解决此问题的意见将不胜感激。

ruby elasticsearch kibana fluentd

0 投票

1 回答

1820 浏览

influxdb - 在 fluentd 和 influxdb 之间丢失数据

我正在努力解决 fluentd 和 influxdb 之间的数据丢失问题。

将 fluent-plugin-influxdb 插件与此配置一起使用：

在比较文件输出和 influxdb 中的数据时，我发现：

日志中有 2355 行，但数据库中只有 582 条记录。

我已经启用了来自 influxdb 和 fluentd 的调试/跟踪日志记录，但到目前为止日志中没有什么有趣的。

有任何想法吗？

influxdb fluentd

0 投票

1 回答

462 浏览

apache - 对于从应用服务器发送日志，使用 Logstash 转发器、FLume 还是 Fluentd？

Logstash 转发器很轻，但从 logstash 转发器到 logstash ，网络存在延迟。[如果我在一台机器上使用 Logstash 转发器并将日志发送到另一台机器上的 Logstash]
Flume /Flume-ng ：相同数据量的 CPU 使用率很高（例如 2 MB，大约 20%）
Fluentd ：不使用 java，它基于 CRuby ，但它的 CPU 利用率在峰值时间也是 30%，.

根据我们的用例，我们不想在我的生产机器上增加大量负载来转发日志，如果我使用logstash，我将引入新的单点故障，所以我很困惑在其中选择一个。

apache logging flume-ng fluentd logstash-forwarder

0 投票

3 回答

12202 浏览

logging - 用于多行的 Docker Fluentd 日志记录驱动程序

我正在尝试使用 fluentd 为 docker 环境创建一个集中式日志记录系统。目前，我可以使用 fluentd docker logging 驱动程序将 docker 日志发送到 fluentd，与使用 in_tail 方法读取 docker 日志文件相比，这是一种更简洁的解决方案。但是，我目前正面临多行日志问题。