问题标签 [logstash]

我想使用 logtash 来解析 python 日志文件，我在哪里可以找到帮助我这样做的资源。例如：

20131113T052627.769：myapp.py：240：信息：用户 Niranjan 已登录

在此我需要捕获时间信息以及一些数据信息。

在阅读了 logstash 提供的文档后，我仍然有点困惑。我正计划编写一个 Android 应用程序，我想记录该应用程序的活动。日志将通过网络发送。logstash 不是正确的解决方案吗？因为它需要在生成日志的系统上安装“代理”。

我想要一个可以存储应用活动日志的系统，但它还需要能够将收集的日志导出为纯文本文件。我知道logstash可以输出到elasticsearch，但我不确定它是否可以同时导出到纯文本文件。或者这是 ElasticSearch 应该做的任务？

非常感谢您提供的任何输入

我将带有 Logstash 的 Glassfish 4 日志文件发送到 ElasticSearch 接收器。如何使用 Logstash 从消息字段中删除尾随换行符？

我的活动如下所示：

我正在尝试使用 cygwin 在 Windows 上安装 redis-2.6.16。我得到以下错误。
感谢任何帮助。谢谢。

我对logstash和弹性搜索很陌生。我正在尝试将日志文件存储在弹性搜索和平面文件中。我知道logstash 支持两种输出。但它们是同时处理的吗？还是通过工作定期完成？

我已经熟练地运行了 elasticsearch，并且我正在使用 rsyslog 转发来自几台 Unix 机器的日志（基本上是转发所有日志）。

它工作得很好，除了我对数据没有任何控制权。我想要的是能够标记某些值。现在，一切都在@message 中。假设我有来自 apache 的日志进入 fluentd。我想使用 Kibana 查看流量（每个 ip、每个文件类型、响应等）。

我不知道这是否可以直接在 Kibana 中完成，或者必须在 fluentd 中解析。我该怎么办？我已经看到了不同日志设置的示例，但是当涉及到 Web 服务器时，它们都会跟踪日志文件。我不能这样做，因为它是远程服务器。

另外，我有不同的服务，我想从（sql、web、mail...）中获取重要的统计信息。

注意：我正在使用 rsyslog 转发日志。

how do i calculate average query and fetch time on my elasticsearch server. http://mysearver.com:9200/_stats gives me the query_time and fetch_time. But this values keep incrementing on each search. I need avg query time and fetch time of the querys and plot it on a graph.

I tried query_time/query_total , this value also increase on each query and then stays on that after the query has stopped.

This is what i have tried so far

我使用 Logstash、redis、elastic search 和 kibana 创建了一个演示环境。（http://indico.cern.ch/getFile .....

这里 logstash shipper 正在从我使用 syslog-ng 集中的日志文件中读取日志。Loogstash 托运人将其转发到 redis，然后是 Logstash 索引器（过滤器），最后到 Elasticsearch。

现在我想跳过 logstash shipper 和 redis 的一部分。这是一个好主意吗？或者redis是强制的或者需要处理重负载的。我不确定。

在上面的 pdf 链接中，我读到 Logstash 的缓冲低，而 redis 管理日志流，这就是为什么使用 redis 的原因。由于 redis 将数据保存在内存中，如果内存已满怎么办？另请阅读 Logstash 和 Elasticsearch 在 RAM 使用方面的需求。JVM 选项需要适当调整。如果是这样，那么如何调整JVM？

是否需要清除/旋转弹性搜索数据/索引？

那么哪一种最适合重载呢？我想解析 [系统（操作系统和守护进程）日志、系统日志、Web 服务器日志（apache、lighttpd）、应用程序服务器日志（tomcat）、数据库服务器日志（mysql）和一些应用程序日志（通过日志文件）] 之类的日志。

提出您的改进建议。谢谢 ！！！。

请找到以下图片链接。

（http://a.disquscdn.com/uploads/mediaembed/images/709/3604/original.jpg）

在我的 Logstash 托运人中，我想过滤掉用哈希字符注释的行：

我能够使用grep过滤器，但由于不鼓励（即将退役），我正在尝试使用grok过滤器来代替它。此过滤器不起作用：

我还尝试将正则表达式放在自定义模式文件中，但没有帮助。有任何想法吗？

我正在尝试使用 logstash 读取日志文件。我使用 grok 将消息中的一个数字解析为一个数字并将其存储为一个字段。但据我所知，我只让 Kibana 绘制消息随时间发生的次数。

我没有任何运气使用 Kibana 来绘制更多的图表，而不仅仅是消息出现的次数。

我的消息示例：

我提取/创建 COUNT 和 TIME 字段以存储相应的值 58 和 2392..我想绘制过去 5 分钟或 10 分钟内 COUNT 和 TIME 的不同值，而不是它们在日志文件中随时间出现的次数。

在现场演示中尝试过，但在我的 kibana localost 控制台上出现此错误

任何帮助是极大的赞赏。