问题标签 [fluentd]

当我尝试使用我创建的使用 fluent-logger-java 的类时，我得到“无法初始化类 org.msgpack.MessagePack”。
并参考：fluent-logger-0.3.2.jar & msgpack-0.6.12.jar 或 msgpack-core-0.7.0-p7.jar

有什么建议么？谢谢

所有，我是这个站点和 Linux 的新手。我刚刚在 Linux Mint 上安装了 fluentd。我想用它来记录我们网络上远程站点（通过 IP 地址）的 .evl 日志，并在出现某个短语时发送电子邮件。我正在阅读如何设置尾部输入插件。但是，在 fluent.conf 的源代码部分，如何指定远程文件的路径？

所以我看到还有其他一些此类问题，但似乎没有一个可以解决我的问题。

我试图从文件中获取 Springboot 日志，解析出有用的信息，并将结果发送到 Elasticsearch，最终从 Kibana 中读取。我的 fluentd.conf 如下所示：

给定一个典型的 Springboot 日志行：

通过也写入标准输出作为测试，我看到我的解析器导致：

但是，当它被写入 Elasticsearch 时，所有结果都是：

根据我对fluentd-plugin-elasticsearch 的阅读，我希望 _source 包含我在标准输出中看到的所有已解析字段。我也尝试过 grok 解析器——尽管问题显然在于对 fluentd elasticsearch 插件的理解。如何让我解析的字段持久保存到 elasticsearch？

我正在尝试解析以两种不同格式报告的 modsecurity 审计日志……一种如下

第二个喜欢

我使用正则表达式匹配了第二条规则：

但我想要的是能够匹配这两种格式，所以基本上如果值

不存在那么只要其他一切都匹配就没有关系了。请问这可能吗？

谢谢。

我们可以连接多个命名捕获的正则表达式吗？

我正在尝试在 fluentd conf 文件中使用以下正则表达式来获取“用户”和“序列号”，但只能获取名字（用户）。

td-agent.conf：

日志文件：

我是 fluentD 中这种正则表达式格式的新手，希望能在这个问题上提供任何帮助。

-普拉文

我们正在寻找最简单的方式将 alfresco 的审计日志发送到 elasticsearch。

我认为使用 alfresco 提供查询和获取审计日志将是最简单的方法。（因为审计日志数据在 db 上几乎看不到）

这个查询将效果度量处理为json类型，然后我想使用fluentd直接下载查询并发送到elasticsearch。

我大致了解它会在 elasticsearc 输出，但我想知道我是否可以直接在 fluentd 上使用查询下载“卷曲推荐”。

否则，如果您有其他简单的想法来获取 alfresco 的审核日志，请告诉我。

有人可以判断 fluentd 在td-agent.log文件中引发此错误是否正常？

虽然这是一个格式正确的 apache2 日志：

这是源配置：

我无法弄清楚上面有什么问题。

我是流利的新手。我想知道它是否支持在 fluentd-agentd 中发送请求。

示例：当 fluent 有新日志时（来自 apache/nginx/rails）。我想调用带有正文的请求 http 是日志文本以指定 url ( http://my_service.com/api/get_log )

可能吗？

I've been trying to see if FluentD is a viable method for my company to send data to Kinesis through. I installed FLuentD using the td-agent rpm pack on an Amazon EC2 instance. There aren't a lot of parameters for how to send the data, just that the TCP or in_forward plugins might be the best fit. I started with the TCP one but I've never really done anything with TCP before so sorry if I make some novel mistakes.

I've been hitting my head against the wall, trying to send TCP requests and see them put to Kinesis. Kinesis is showing that there have been no writes. I thought at first I wasn't sending enough data to trigger a write so I've tried sending tons of data at it and no such luck. Googling the problem has brought me no answers as there was only one result seemed viable and it was a question on some site - netdownload - that had no answers.

FluentD configuration:

CONNECT_TO_ADDR is a constant defined as the Public IP of my ec2-instance. Code to send TCP data:

Output from the FluentD log:

D, [2015-08-11T21:17:00.244426 #9848] DEBUG -- : [Aws::Kinesis::Client 200 >0.130176 0 retries] describe_stream(stream_name:"test_stream")

2015-08-11 21:17:00 +0000 [info]: listening fluent socket on 0.0.0.0:24224
2015-08-11 21:17:00 +0000 [info]: listening dRuby uri="druby://127.0.0.1:24230" >object="Engine" 2015-08-11 21:17:00 +0000 [debug]: listening tcp socket on 0.0.0.0:5170
2015-08-12 03:28:01 +0000 [info]: force flushing buffered events

我正在使用 fluentd 作为数据收集器。但是从时间开始的毫秒数被删除了。您能否建议一个解决方案以在生成的输出中保持毫秒。

仅当我将 logstash_format 指定为 true 时，才会解析时间。但是由于这个索引被创建为“Logstash **”，即使我指定了索引名称。如果我没有指定 'logstash_format true '，那么除了时间字段之外的所有内容都会被解析。

这是我的流利的配置文件，