问题标签 [logstash-grok]

Logstash 和多线协同工作有一些困难

我正在使用Logspout容器，它将所有标准输出日志条目作为 syslog 转发到 logstash。

这是 logstash 收到的最终内容。这里有多行应该代表两个事件。

每个日志行都以 syslog 头开头。

基于上述日志内容，我创建了 logstash 配置文件。

现在，当上述事件到达时，第一个事件被正确解析并显示：

第二个事件包含此消息，其中包含三个问题：

1. 消息文本包含一行不属于这里的dev_nginx_1条目。这应该被视为一个单独的事件。

2. 每行都包含前缀。<14>2015-02-10T12:59:09Z logspout dev_zservice_1[1]:

3. 每行都有一个额外的新行

问题。为什么dev_nginx_1条目本身不是一个事件。为什么它被认为属于前一个？如何摆脱消息每行中的 syslog 前缀。我怎样才能摆脱额外的新线？

因此，我现在为正在运行的日志编写了几种模式。现在的问题是，我在一个文件中拥有这些具有多种模式的多个日志。logstash 如何知道它必须为日志中的哪一行使用什么样的模式？（我正在使用 grok 进行过滤）如果你们会非常友善，您能否给我文档的链接，因为我找不到任何关于此的内容：/

在我的 logstash 日志中，有时会有空行或只有空格的行。

为了删除空行，我创建了一个 dropemptyline 过滤器文件

但是空行过滤器没有按预期工作，主要是因为这个特定的过滤器位于其他过滤器链中，之后有过滤器。

所以我认为如果我的特定过滤器是唯一的过滤器，但它不是。

我的问题是如何退出所有过滤器并直接进入输出？

在单节点弹性搜索和 logstash 中，我们在不同类型的 AWS 实例（即 Medium、Large 和 Xlarge）上测试了 20mb 和 200mb 文件解析到 Elastic Search。

环境详细信息：中型实例 3.75 RAM 1 核存储：4 GB SSD 64 位网络性能：中等运行实例：Logstash、弹性搜索

场景：1

方案 2

环境详细信息：R3 大型 15.25 RAM 2 核存储：32 GB SSD 64 位网络性能：中等运行实例：Logstash、弹性搜索

方案 3

环境详细信息：R3 High-Memory Extra Large r3.xlarge 30.5 RAM 4 核存储：32 GB SSD 64 位网络性能：中等运行实例：Logstash，弹性搜索

我想知道

1. 性能的基准是什么？
2. 性能是达到基准还是低于基准
3. 为什么即使在我增加了 elasticsearch JVM 之后我也无法找到差异？
4. 我如何监控 Logstash 并提高其性能？

感谢您对这方面的任何帮助，因为我是 logstash 和弹性搜索的新手。

我目前正在使用 Logstash。我想使用 grok 解析 WSO2 ESB 日志语句。我尝试了不同的模式，但没有成功。谁能帮我为 WSO2 ESb 日志语句编写自定义模式。

这是示例日志消息：

我有一个 drupal 看门狗 syslog 文件，我想将其解析为两个嵌套字段，即 syslog 部分和消息部分，以便得到这个结果

我尝试制作如下所示的自定义模式：

DRUPALSYSLOG (%{SYSLOGTIMESTAMP:date} %{SYSLOGHOST:logsource} %{WORD:program}: %{URL:domain}\|%{EPOCH:epoch}\|%{WORD:instigator}\|%{IP:ip}\|%{URL:referrer}\|%{URL:request}\|(?<user_id>\d+)\|\|)

然后运行match => ['message', '%{DRUPALSYSLOG:drupal}'}

但我没有得到嵌套响应，我得到一个文本块drupal: "ALL THE MATCHING FIELDS IN ONE STRING"，然后是所有匹配项，但不是嵌套在 drupal 下，而是在同一级别。

我在日志文件中有这个 UA Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2267.0 Safari/537.36

现在我真正想要的只是抓住Windows NT 6.1（即win7）和WOW64即64位系统之类的东西。

我当前的 grok 过滤器解析出所有的东西，然后运行一个remove field丢弃不需要的东西。有没有更简单/更清洁的方法？

我有包含一系列此类消息的文件：

它是字符串、一些空格、第一个日期和时间、一些空格和第二个日期和时间。目前我正在使用这样的过滤器：

我想将该消息的 dateStart 和 timeStart 转换为 @timestamp。

我发现有日期过滤器，但我不知道如何在两个单独的字段上使用它。

我也尝试过这样的过滤器：

但它没有按预期工作。

我是一个新的 Logstash 用户，我开始编写一些 grok 规则来解析我的 asa 日志文件。我有一些规则可以正确触发，尽管我在 grok 调试器中对其进行了测试，但我无法正确解析事件，并且它始终可以正确测试。此事件将始终具有_grokparsefailure标志。

这是一个事件：

<166>：太平洋标准时间 2 月 26 日 23:44:14：%ASA-session-6-305012：从内部拆除动态 TCP 转换：192.168.1.45/53838 到外部：71.110.113.180/53838 持续时间 0:00:30

还有我的 grok 模式：

我的过滤器集如下：

感谢您的任何指导。

我是 ELK 堆栈的新用户。我使用 UWSGI 作为我的服务器。我需要使用 Grok 解析我的 uwsgi 日志，然后分析它们。

这是我的日志格式：-

我使用这个链接来生成我的过滤器，但它没有解析很多信息。

上面链接生成的过滤器是

这是我的 logstash-conf 文件。

使用此 conf 文件运行 logstash 后，我收到一条错误消息：-

日期已正确格式化。如何从我的日志中提取其他信息，例如我的query parameters(filename, start,end, deviceid etc)和ClientIP等Response code。

另外，是否有任何可以使用的内置 UWSGI 日志解析器，例如为 apache 和 syslog 构建的解析器？

编辑

我自己写了这个，但它抛出了同样的错误：

编辑 2

我终于可以自己破解了。上述日志的 GROK 过滤器将是：

但我的问题仍然存在：

1. grop 中是否有任何默认的 uwsgi 日志过滤器？？**

2. 我一直在为不同的查询参数应用不同的匹配。grok 中是否有任何东西可以自行获取不同的查询参数？