我们正在安装 ELS 和 Kibana 以进行日志聚合/分析。第一个使用它的系统是新建系统，因此我们从构成我们系统的服务中输出结构化日志。鉴于我们不需要向日志添加结构，我计划使用 FileBeat 将日志直接发送到 ELS，而不是使用 LogStash。这是一个明智的选择，还是 LogStash 具有超出我们可能需要的解析的价值？如果我们确实使用 LogStash，我可以使用它来收集日志文件还是应该使用 FileBeat 将日志泵送到 LogStash？
问问题
8592 次
2 回答
13
如果您需要聚合来自多个服务器的日志并对您的事件应用一些常见的转换和过滤，Logstash 非常有用。
如果您的日志事件已经结构化并且您可以直接索引它们，那么您绝对可以让 Filebeat 将它们直接发送到 ES。如果 ES 出现故障（例如为了维护），Filebeat 将重试，直到它可以成功发送事件。
于 2016-10-05T12:30:07.280 回答
6
这是一个明智的选择，还是 LogStash 具有超出我们可能需要的解析的价值？
在您的情况下，决定是否使用 Logstash 取决于您是否需要在将日志插入 ES 之前对其进行处理。
除了解析（这在您的用例中显然没用）之外，您还可以使用 Logstash 使用geoip 过滤器添加位置，使用日期过滤器解析日期，用另一个词替换单词，用哈希替换字段等...
您可以在此处查看可用的过滤器。
如果我们确实使用 LogStash，我可以使用它来收集日志文件还是应该使用 FileBeat 将日志泵送到 LogStash？
如果您需要 Logstash 并且有能力在您的日志所在的机器上运行它，您可以通过使用文件输入来避免使用 Filebeat。
但请记住，Logstash，尤其是用于解析时，会消耗大量资源。最好将它放在另一台机器上，并使用 Filebeat 将日志泵送到 Logstash。
于 2016-10-05T13:43:59.710 回答