问题标签 [fluentd]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
mongodb - 前端的弹性搜索压缩和性能
如果这听起来很幼稚，请提前道歉。我开始使用 Elastic Search，我每天有大约 10GB 的数据要存储在 Elastic Search 中，我读到 Elastic search 压缩到原始数据的 5%。我已经设置了基于来自 Elastic Search 的数据运行的仪表板，但我不确定压缩率是否太高会影响搜索性能，因此我的仪表板没有有效地显示基于时间的比较。
请随时问我的问题是否不清楚？我确实想知道 ES 压缩通常是多少，就像我想看到的示例一样，当我们有 Elastic Search 实例时，我们理想情况下使用它来存储多少最大空间？
提前致谢...
fluentd - fluentd 异常处理和转发到不同的实例
我面临的问题是，我没有使用在本地服务器上运行的 fluentd 实例。我只是通过连接到远程 fluentd 来通过 Java 代码推送一些数据。
示例：FluentLogger LOG = FluentLogger.getLogger(app, FLUENTD_ADDRESS, FLUENTD_PORT); 我像这样连接到远程流利的。并且只是使用地图推送一些数据。
这样我只连接到一个流利的远程实例。如果由于网络故障而无法连接怎么办。我的信息丢失了。有趣的是，如果未建立连接，我想捕获异常。如果未建立连接导致 Java 编译器不理解它，我将无法捕获异常。它只是在控制台中显示无法连接，但它不会捕获块。
如果您看到上面的连接语句，则从 LOG 中我无法查看连接是否打开 例如有 LOG.open() 我想将日志写回文件以防连接失败，但我找不到这样的方法去做。
您能否分享您对此的想法。
提前致谢。
centos - CentOS 错误使用 "service td-agent status"
我在 CentOS 中使用 td-agent。
当我输入“service td-agent start”时，我看到“正在启动 td-agent：[OK]”。为了检查它，我输入了“service td-agent status”，但我看到“td-agent dead but pid file exists”。我不明白这个结果。请告诉我如何解决这个问题。
更多当我输入“service td-agent start”时，我看到了这条消息。
logging - 用fluentd解析数据
我已经熟练地运行了 elasticsearch，并且我正在使用 rsyslog 转发来自几台 Unix 机器的日志（基本上是转发所有日志）。
它工作得很好，除了我对数据没有任何控制权。我想要的是能够标记某些值。现在，一切都在@message 中。假设我有来自 apache 的日志进入 fluentd。我想使用 Kibana 查看流量（每个 ip、每个文件类型、响应等）。
我不知道这是否可以直接在 Kibana 中完成，或者必须在 fluentd 中解析。我该怎么办？我已经看到了不同日志设置的示例，但是当涉及到 Web 服务器时，它们都会跟踪日志文件。我不能这样做，因为它是远程服务器。
另外，我有不同的服务，我想从（sql、web、mail...）中获取重要的统计信息。
注意：我正在使用 rsyslog 转发日志。
windows - IIS 的 Fluentd 替代品
我正在分析我的网络服务器日志。我的 Linux+Apache 服务器一切正常，但我需要为我的 Windows+IIS 服务器做同样的事情。在 Fluentd 的常见问题解答中说不支持 Windows（http://docs.fluentd.org/articles/faq#does-fluentd-run-on-windows），所以我正在寻找替代方案。
你们能给我一些建议吗？
提前致谢。
mongodb - fluent / fluent-plugin-mongo mongo_tail 慢日志收集系统错误。分析
mongo_tail与正常的集合 Mongod 一起工作，但使用 Mongo 分析集合 system.profiling 时出现错误：
我该如何解决它，我想使用 fluent 将慢速 Mongodb 日志拉到其他地方。
node.js - NodeJS 在 ec2 上登录到 Redis
我在 ec2 上运行 nodejs 并将 nodejs stdout 和 sterr 重定向到文件 (>>) 这有以下潜在问题：
- EBS 故障可能会停止 nodejs 进程（我想日志记录是同步的）。众所周知，EBS 不如其他一些 AWS 服务可靠。
- EC2 实例可能会失败并且 EBS 会丢失（除非已附加）。
- EBS 上的日志文件不会跨可用区复制。
- 获取日志需要通过 SSH 连接到机器。
理想情况下，我希望将所有日志直接写入 Amazon ElasticCache for Redis，然后再写入 S3。最好的方法是什么？
fluentd - Fluentd tail 插件：tail 目录中的所有文件
Fluentd 接受 CSV 文件名来记录。但这也意味着对文件名的先验知识。
是否有一个选项或黑客来做一些逻辑上等同于 -path /var/log/*.log
ruby - 命令 td-agent 不起作用
我尝试使用以下命令安装 Fluentd：
发生了一些错误。这是错误日志：
我的红宝石环境是：
- 红宝石 -
ruby 1.9.3p392 - 宝石 -
2.2.2
我希望 Fluentd 工作。
提前致谢。
elasticsearch - 作为 Web 服务公开的日志数据可以输入到 Elasticssearch 吗？
我有许多应用程序在不同的数据中心运行，由不同的供应商开发和维护。每个应用程序都有一个 Web 服务，用于公开为应用程序整合的相关日志数据（审计数据、安全数据、与成本计算相关的数据、性能数据……）。
我的任务是将来自每个系统的数据放入 Elasticsearch、Kibana 和 Logstash 的设置中，这样我就可以创建业务报告或以我想要的方式查看数据。
假设我有一个 JBoss 应用程序服务器用于集成到这些“公开日志”服务，那么提供 Elasticssearch 的最佳方式是什么？一些调用每个服务的 Logstash 插件？JBoss 使用一些 Logstash 插件？还是其他方式？