0

我有提供给我的 S3 存储桶的 AWS 数据管道设置。每次管道生成一个新的提要文件并存储在存储桶中。我们在存储桶中最多保留 30 天的数据。是否可以配置警报，以便在生成的对象大小超过阈值（例如 1G）时通过电子邮件等通知我？我该怎么办？

4

1 回答 1

2

如果您想要粒度数据，则需要以下一些开发工作，这些是一些选项/进一步阅读。

  1. s3 通知 - 即 s3 响应创建/删除等事件发送的事件，可用于触发 lambda 以执行任何逻辑。您可以将逻辑基于密钥、文件大小、创建日期等。然后您可以将该值存储为 cloudwatch 指标，然后在您的自定义指标上设置警报。

请参阅https://docs.aws.amazon.com/AmazonS3/latest/dev/NotificationHowTo.html

或者

  1. s3 库存（基本上是按计划上传到不同存储桶的 csv 格式的目录列表）。

如果您选择库存选项，您可以设置一个时间表，然后您可以在库存文件的目标存储桶上创建一个通知，以在每个 csv 可用时触发 lambda。还可以看看 aws Athena，可以用来通过 api 直接查询库存文件 - 无需下载/解析 csv！

请参阅https://docs.aws.amazon.com/AmazonS3/latest/dev/storage-inventory.html

如果您对快速 n 简单/无编程路线感兴趣，则有一个称为总存储桶大小的 cloudwatch 指标BucketSizeBytes，您可以轻松添加一个警报，如果总大小超过 30gb，则触发 sns 电子邮件。根据您的目标，这可能很有用，并且应该需要几分钟来设置 - 但对于及时监控目的来说非常无用。

请参阅https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/s3-metricscollected.html

于 2018-07-26T19:03:26.753 回答