我正在将亚马逊服务 S3 和 CloudFront 用于 Web 应用程序,并且我希望获得有关访问我通过这些服务的日志提供的数据的各种统计信息(在这两个服务中都激活了日志记录)。
我做了一些谷歌搜索,唯一能找到的是如何管理我的 S3 存储。我还注意到,newrelic 为许多亚马逊服务提供监控,但不是为那些 2。
有什么你用的吗?一项可以定期读取我的日志并为我提供一些可以让开发人员和管理人员满意的出色分析的服务?
例如,我试图避免编写自己的日志解析器。
我正在将亚马逊服务 S3 和 CloudFront 用于 Web 应用程序,并且我希望获得有关访问我通过这些服务的日志提供的数据的各种统计信息(在这两个服务中都激活了日志记录)。
我做了一些谷歌搜索,唯一能找到的是如何管理我的 S3 存储。我还注意到,newrelic 为许多亚马逊服务提供监控,但不是为那些 2。
有什么你用的吗?一项可以定期读取我的日志并为我提供一些可以让开发人员和管理人员满意的出色分析的服务?
例如,我试图避免编写自己的日志解析器。
好吧,这可能不是您所期望的,但我将 qloudstat 用于我的云端发行版。
5 美元的计划满足了我的需求,这比我住的地方的墨西哥卷饼还少。
最好的祝福。
好吧,我们有一个 SaaS 产品Cloudlytics,它为您提供许多报告,包括地理、IP 跟踪、垃圾邮件、CloudFront 成本分析。您可以免费试用最多 25 MB 的日志。
我可能很晚才回答这个问题。但是我研究了一个 golang 库,它可以运行 CDN 和 S3 使用分析,并将它们存储在您选择的后端,从 influxdb、MongoDB 或 Cassandra 中选择,以便以后进行时间序列评估。该项目托管在http://github.com/meson10/cdnlysis
看看这个合不合适。
流行的第 3 方分析包包括S3stat、 Cloudlytics和Qloudstat。对于低流量站点,它们都运行在每月 10 美元左右。
如果您想每晚下载日志并直接输入,则有几个独立的分析包支持 Amazon 的日志文件格式。其他人可能需要先进行预处理以转换为组合日志文件格式 (CLF)。
我在这里写过如何做到这一点:
https://www.expatsoftware.com/articles/2007/11/roll-your-own-web-stats-for-amazon-s3.html