amazon-web-services - Amazon S3 Select 使用案例

Question

我查看了链接并试图了解它是什么s3 select。

大多数应用程序必须检索整个对象，然后仅过滤掉所需的数据以进行进一步分析。S3 Select 使应用程序能够将过滤和访问对​​象内部数据的繁重工作交给 Amazon S3 服务。

根据上面的陈述，我试图想象什么是正确的用例。

如果我有一个包含 1 亿行的单个 excel 文件，坐在 S3 上，我可以使用 S3 Select 查询部分行，而不是下载整个 1 亿行，这有帮助吗？

Answer 1

有很多用例。但是两个明显的例子是集中化和时间效率。

假设您在 S3 中有这个“具有 1 亿行的单个 excel 文件”。现在，如果您有几个人/部门/分支机构需要访问它，他们都必须下载、存储和处理。由于它将由每个人单独下载，因此您很快就会得到所有文件的旧版本（新版本可以上传到 S3），或者只是不同的版本 - 从今天开始的一个人版本，另一个将在上周的版本上工作。使用 S3 select，它们都将从存储在 S3 中的对象的一个​​版本中查询并获取数据。

此外，如果您有 1 亿条记录，则获取选定的数据可以为您节省大量时间。只需从这个文件中想象一个人只需要 10 条记录，其他人需要 1000 条记录。第一个人没有下载 1 亿条记录，而是使用 S3 Select 仅查找 10 条记录，而其他人仅获取他/她的 1000 条记录。所有这一切都无需下载 1 亿条记录。

在Glacier中使用 S3 select 会带来更多好处，如果需要，您无法从那里轻松下载文件。