我们想处理 AWS ELB 访问日志并将它们写入 InfluxDB 以用于应用程序指标和监控(例如 Grafana)。
我们将 ELB 配置为将访问日志存储到 S3 存储桶中。
处理这些日志并将它们写入 InfluxDB 的最佳方法是什么?
到目前为止,我们尝试的是使用 s3fs 将 S3 存储桶挂载到文件系统,然后使用 Telegraf 代理进行处理。但是这种方法有一些问题:s3fs 挂载看起来像一个 hack,桶中的所有文件都被压缩,需要在 telegraf 处理它们之前解压缩,这使得这个任务过于复杂。
有没有更好的办法?
谢谢, 亚历山大