0

我使用 Logstash、redis、elastic search 和 kibana 创建了一个演示环境。（http://indico.cern.ch/getFile .....

这里 logstash shipper 正在从我使用 syslog-ng 集中的日志文件中读取日志。Loogstash 托运人将其转发到 redis，然后是 Logstash 索引器（过滤器），最后到 Elasticsearch。

现在我想跳过 logstash shipper 和 redis 的一部分。这是一个好主意吗？或者redis是强制的或者需要处理重负载的。我不确定。

在上面的 pdf 链接中，我读到 Logstash 的缓冲低，而 redis 管理日志流，这就是为什么使用 redis 的原因。由于 redis 将数据保存在内存中，如果内存已满怎么办？另请阅读 Logstash 和 Elasticsearch 在 RAM 使用方面的需求。JVM 选项需要适当调整。如果是这样，那么如何调整JVM？

是否需要清除/旋转弹性搜索数据/索引？

那么哪一种最适合重载呢？我想解析 [系统（操作系统和守护进程）日志、系统日志、Web 服务器日志（apache、lighttpd）、应用程序服务器日志（tomcat）、数据库服务器日志（mysql）和一些应用程序日志（通过日志文件）] 之类的日志。

提出您的改进建议。谢谢 ！！！。

请找到以下图片链接。

（http://a.disquscdn.com/uploads/mediaembed/images/709/3604/original.jpg）

4

1 回答 1

0

在您描述的设置中，不应该需要 Redis，使用 syslog-ng 集中日志文件的目的与使用多个托运人时的 Redis 相同。
可能需要修剪弹性搜索索引以减少磁盘空间需求。这将取决于您的弹性搜索数据增长的速度、您有多少可用磁盘空间以及您需要多长时间来搜索日志。

我不能就 JVM 调优提出建议。

于 2014-01-26T20:30:05.587 回答