问题标签 [fluentd]

有谁知道如何匹配不在括号中的字符串 [^...] 例如：我想匹配所有内容，直到最后一个“空格和 [”一起

我的正则表达式匹配第一个空格而不是空格和 [ 一起

非常感谢！

我使用以下配置在 ubuntu 14.04 上运行 td-agent：

目录/path/tomcat/logs/file-input.log中的日志源文件仅包含结构化的 json 数据。Ntp 守护程序已安装并正在运行，但是当 td-agent 在 hdfs 中创建文件时，文件名的日期为 19700101。出了什么问题？

我正在尝试在 Compute Engine VM 实例上获取 JSON 格式的日志，以显示在 Google Developer Console 的日志查看器中。根据此文档，应该可以这样做：

使用 App Engine 托管虚拟机的应用程序应将自定义日志文件写入位于 /var/log/app_engine/custom_logs 的虚拟机日志目录。这些文件会自动收集并在日志查看器中提供。

自定义日志文件必须具有后缀 .log 或 .log.json。如果后缀为 .log.json，则日志必须为 JSON 格式，每行一个 JSON 对象。如果后缀为 .log，则日志条目将被视为纯文本。

这似乎对我不起作用：以 结尾.log的日志在日志查看器中可见，但显示为纯文本。以结尾的日志.log.json根本不可见。

它还与另一篇最近的文章相矛盾，该文章指出文件名必须以 .log 结尾，并且其内容被视为纯文本。

据我所知，谷歌使用fluentd 将日志文件索引到日志查看器中。在 GitHub 存储库中，我找不到任何.log.json文件被索引的证据。

有谁知道如何让这个工作？还是文档已过时并且由于某种原因已删除此功能？

我正在关注这篇Fluentd 帖子，以使用 Rails 设置 Fluentd 的工作版本。我的fluent-logger.yml：

application.rb：_

我的td-agent.conf指令如下所示：

当我启动我的 rails 服务器时，我没有看到任何日志消息通过管道传输到 td-agent.log 。我正在使用 act-fluent-logger-rails gem。

但是，当我在 rails 控制台中使用 fluent-logger gem 并执行以下命令时：

我可以看到 STDOUT 填充了我发送的消息。我在哪里出错了，在应用程序中运行它？任何对此的注意都会很棒！TIA。

我们在十台机器上为我们的应用程序运行了两个 rails 项目，我正在尝试设置 Fluentd 以从所有这些盒子中收集日志。

在这篇文章之后，我能够为我们运行 Rails 服务器的面向用户的应用程序设置和汇总日志。

然而，另一个项目是通过 rake 任务实例化的，我们有这个项目的工作人员正在收听 RabbitMq 的消息。但是我不能为这个项目做同样的事情（因为我们可能没有启动 Rails 服务器？）。当我rails s对这个项目进行操作时，我能够看到在 Fluentd 中聚合的日志td-agent.log。如何将此项目的日志通过管道传输到 Fluentd？对此的任何提醒都会非常有帮助。蒂亚！

我的英语不好，对不起...

这些天来，我总是在 AWS EC2（Amazon Linux AMI 版本 2014.03）上测试 td-agent。从 nginx 输入日志并将日志输出到 S3 就可以了，这非常好！

然后我想要 praser 日志到 json，当我制作源格式“nginx”时，它说

我认为mybe我的nginx日志不是默认的。然后，我为此做了正则表达式，

我的日志是：) 178.152.203.39 - [2015-03-31T00:18:10+08:00] "GET /provider.txt HTTP/1.1" 200 726 "-" "Dalvik/1.6.0 (Linux; U; Android 4.3; GT-I9300 Build/JSS15J"

重新启动 td-agent ，td-agent 日志似乎没问题。但没有找到输出，我的 cpu 100%，任何人都可以帮助我吗？非常感谢 ！！！

我找到了一个 Java 库来登录 fluentd，但找不到一个用于 clojure 的库。是否有任何 Clojure 库可以基于 fluentd 进行日志记录？

我正在寻找一种将 source_hostname 发送到 fluentd 目标服务器的方法。

我在logstash上，但我们有代理/服务器端，我们有变量来获取logstash服务器配置文件中的源主机名。

我使用 FluentD 搜索类似的方法，但我发现的唯一方法是在源标记“#{Socket.gethostname}”中设置主机名。但是这样我就不能在目标日志文件的路径中使用主机名。基于来源：http ://docs.fluentd.org/articles/config-file#embedded-ruby-code

在服务器端，这就是我想做的原因：

有人可以帮我做这样的事情吗？

提前感谢您的宝贵时间。

要在 java API 中记录到 fluentd，我们首先需要创建一个 hashmap，然后将其转换为 map，然后将 map 传递给 log 函数，如：

在 clojure 中，我创建了一个 hashmap 并将其传递给 log 函数（但我无法将 hashmap 转换为 map，也许 clojure 会为我自动执行此操作），但它失败了，如下所示。

来自fluentd的日志是

clojure 错误是

在 Google Container Engine 上处理日志的最佳方式是什么？通过查看正在运行的 pod，我可以看到每个节点都在自动运行fluentd服务。我们可以利用它来让我们的日志进入开发者控制台吗？