python - 在 s3 存储桶中搜索文件（键）需要更长的时间

Question

我在 s3 存储桶中有 10000 个文件。列出所有文件需要 10 分钟。我想使用 BOTO（AWS 的 Python 接口）实现一个搜索模块，该模块根据用户输入搜索文件。有没有办法可以用更少的时间搜索特定文件？

Answer 1

有两种方法可以实现搜索...

案例1。正如 john 所建议的那样 - 您可以在 list 方法中指定 s3 密钥文件的前缀。这将返回以给定前缀开头的 S3 密钥文件的结果。

情况 2。如果您想搜索以特定后缀结尾的 S3 密钥，或者我们可以说扩展名，那么您可以在分隔符中指定后缀。请记住，只有在您为以该字符串结尾的搜索项提供后缀的情况下，它才会为您提供正确的结果。Else 分隔符用于路径分隔符。

我会建议您使用案例 1，但如果您想使用特定后缀更快地搜索，那么您可以尝试案例 2

Answer 2

AFAIK 您能做的最好的事情是使用命名参数根据prefix文件前缀过滤结果。