1

我的管道是：

cloudwatchlogs > lambda > Elastic Search.

问题是这些日志太冗长（我对此无能为力），并且需要过滤其中的 70%，因此它们不会无用地填充我的弹性集群。

我以为我可以在 cloudwatch 日志组上应用 metrix 过滤日志，但这并没有过滤任何东西，意味着它会从 cloudwatch 中删除它们，只是绘制一些关于它的统计信息……，因此那些不需要的日志仍然出现。

当您创建订阅过滤器时，我发现的只是这个小地方：在此处输入图像描述但它非常原始，我需要至少 30-40 种不同的过滤器模式，而不仅仅是一个

所以我的问题是：

我唯一不被不需要的日志打扰的方法是在我的 lambda 函数中手动过滤它们（正则表达式等）吗？一定有更简单的方法，不是吗？

谢谢

4

1 回答 1

0

我最终要做的是让日志到达我的 ElasticCluster 而不进行任何过滤，然后使用 kibana 预过滤我不需要的内容，并在弹性搜索中定期删除所有日志。

到目前为止一切顺利，除此之外，当您在 kibana 上创建过滤器时，它还为您提供了自行执行请求所需的 json。

例子：

curl -X POST ES/INDEX/_delete_by_query
{
  "query": {
    "match": {
      "sourceIPAddress": {
        "query": "ec2.amazonaws.com",
        "type": "phrase"
      }
    }
  }
}
于 2017-05-10T13:26:47.807 回答