1

如何将 filebeat 配置为仅将一定百分比的日志（如果您愿意，可以提供一个示例）发送到 logstash？

在我的应用程序的日志文件夹中，日志被分块到每个大约 20 兆。我希望 filebeat 仅将大约 1/300 的日志量发送到 logstash。

我需要先减少日志量，然后再通过线路将其发送到logstash，因此我无法从logstash 进行此过滤，它需要在端点离开服务器之前发生。

我在 ES 论坛上问了这个问题，有人说 filebeat 不可能：https ://discuss.elastic.co/t/ship-only-a-percentage-of-logs-to-logstash/77393/2

我真的没有办法扩展filebeat来做到这一点吗？能不能用nxlog或者别的产品来这个？

4

2 回答 2

2

据我所知，FileBeat 无法做到这一点。不过，您可以使用 Logstash 来做到这一点。

filter {
  drop {
    percentage => 99.7
  }
}

这可能是一个用例，您将在服务器上以运输模式使用 Logstash，而不是 FileBeat。

input {
  file {
    path => "/var/log/hugelogs/*.log"
    add_tags => [ 'sampled' ]
  }
}

filter {
  drop {
    percentage => 99.7
  }
}

output {
  tcp {
    host =>  'logstash.prod.internal'
    port =>  '3390'
  }
}

这意味着在您的服务器上安装 Logstash。但是，您应尽可能少地对其进行配置。只是一个输入，足够的过滤器来获得你想要的效果，以及一个输出（在这种情况下是 Tcp，但它可以是任何东西）。完全过滤将在管道中进行。

于 2017-03-11T00:46:10.343 回答
1

无法将 Filebeat 配置为根据概率丢弃任意事件。但 Filebeat 确实能够根据条件删除事件。有两种过滤事件的方法。

Filebeat 有一种方法可以在读取文件时指定要包含或排除的行。这是应用过滤最有效的地方，因为它发生得早。这是使用include_lines和exclude_lines在配置文件中完成的。

filebeat.prospectors:
- paths:
  - /var/log/myapp/*.log
  exclude_lines: ['^DEBUG']

所有 Beats 都有“处理器”，可让您根据条件应用操作。一个动作是drop_events，条件是regexp、contains、equals和range。

processors:
- drop_event:
    when:
      regexp:
        message: '^DEBUG'
于 2017-03-11T16:14:57.467 回答