logging - 是否有一种工具可以从 AWS Elastic Beanstalk 以聚合方式轻松搜索 S3 中每小时轮换的日志？

Question

很高兴 AWS Elastic Beanstalk 可以为您自动轮换日志。问题是，一旦在 s3 中，它们都是 GZipped 并且每小时在一个文件中。为了在一段时间内进行任何类型的分析，需要手动下载所有单独的 .gz 文件，解压缩它们，然后搜索它们。我正在寻找一种工具，我可以只指向一个 S3 文件夹，并在我的日志上具有文本搜索功能。

Answer 1

我在尝试聚合和搜索 S3 访问和 Cloudfront 日志文件时遇到了类似的问题。令人惊讶的是，在这个问题发布多年后，我仍然没有找到一个好的解决方案，所以我自己编写了一个使用 S3 通知和 AWS Lambda 的解决方案。如果您不直接将事件从您的应用程序发布到 papertrail 并且仅依赖写入 S3 的日志，您可以调整https://github.com/qixotic/s3-to-logstore来解析您的日志文件格式并推送到 papertrail （或其他交通工具）。