18

我正在尝试使用 Python 和 Boto3 列出 S3 存储桶中的所有目录。

我正在使用以下代码：

s3 = session.resource('s3')  # I already have a boto3 Session object
bucket_names = [
    'this/bucket/',
    'that/bucket/'
]
for name in bucket_names:
    bucket = s3.Bucket(name)
    for obj in bucket.objects.all():  # this raises an exception
        # handle obj

当我运行它时，我得到以下异常堆栈跟踪：

File "botolist.py", line 67, in <module>
  for obj in bucket.objects.all():
File "/Library/Python/2.7/site-packages/boto3/resources/collection.py", line 82, in __iter__
  for page in self.pages():
File "/Library/Python/2.7/site-packages/boto3/resources/collection.py", line 165, in pages
  for page in pages:
File "/Library/Python/2.7/site-packages/botocore/paginate.py", line 83, in __iter__
  response = self._make_request(current_kwargs)
File "/Library/Python/2.7/site-packages/botocore/paginate.py", line 155, in _make_request
  return self._method(**current_kwargs)
File "/Library/Python/2.7/site-packages/botocore/client.py", line 270, in _api_call
  return self._make_api_call(operation_name, kwargs)
File "/Library/Python/2.7/site-packages/botocore/client.py", line 335, in _make_api_call
  raise ClientError(parsed_response, operation_name)

botocore.exceptions.ClientError: An error occurred (NoSuchKey) when calling the ListObjects operation: The specified key does not exist.

列出存储桶内目录的正确方法是什么？

4

6 回答 6

17

所有这些其他的反应都让人望而却步。使用

client.list_objects()

将您限制为最多 1k 个结果。其余的答案要么错误，要么太复杂。

自己处理延续令牌是一个糟糕的主意。只需使用分页器，它会为您处理该逻辑

您想要的解决方案是：

[e['Key'] for p in client.get_paginator("list_objects_v2")\
                         .paginate(Bucket='my_bucket')
          for e in p['Contents']]
于 2019-07-11T13:35:12.027 回答
15

如果您有会话，请创建一个客户端并获取CommonPrefixes客户端list_objects：

client = session.client('s3', 
                        # region_name='eu-west-1'
                        )

result = client.list_objects(Bucket='MyBucket', Delimiter='/')
for obj in result.get('CommonPrefixes'):
    #handle obj.get('Prefix')

可能有很多文件夹，但您可能希望从子文件夹开始。像这样的东西可以处理：

def folders(client, bucket, prefix=''):
    paginator = client.get_paginator('list_objects')
    for result in paginator.paginate(Bucket=bucket, Prefix=prefix, Delimiter='/'):
        for prefix in result.get('CommonPrefixes', []):
            yield prefix.get('Prefix')

gen_folders = folders(client, 'MyBucket')
list(gen_folders)

gen_subfolders = folders(client, 'MyBucket', prefix='MySubFolder/')
list(gen_subfolders)
于 2015-09-19T23:22:13.363 回答
11

或者，您可能想使用boto3.client

例子

import boto3 
client = boto3.client('s3')
client.list_objects(Bucket='MyBucket')

list_objects还支持迭代结果可能需要的其他参数：Bucket、Delimiter、EncodingType、Marker、MaxKeys、Prefix

于 2015-09-17T17:01:03.123 回答
2

在 S3 存储桶中获取具有特定前缀的所有对象列表的最佳方法是使用list_objects_v2withContinuationToken来克服 1000 个对象分页限制。

import boto3
s3 = boto3.client('s3')

s3_bucket = 'your-bucket'
s3_prefix = 'your/prefix'
partial_list = s3.list_objects_v2(
        Bucket=s3_bucket, 
        Prefix=s3_prefix)
obj_list = partial_list['Contents']
while partial_list['IsTruncated']:
    next_token = partial_list['NextContinuationToken']
    partial_list = s3.list_objects_v2(
        Bucket=s3_bucket, 
        Prefix=s3_prefix, 
        ContinuationToken=next_token)
    obj_list.extend(partial_list['Contents'])
于 2019-05-29T16:29:27.850 回答
2

如果文件夹中的对象少于 1,000 个，则可以使用以下代码：

import boto3

s3 = boto3.client('s3')
object_listing = s3.list_objects_v2(Bucket='bucket_name',
                                    Prefix='folder/sub-folder/')
于 2019-11-28T16:02:28.653 回答
0

我原以为您不能在存储桶名称中使用斜杠。您说您想列出存储桶中的所有目录，但您的代码尝试列出多个存储桶中的所有内容（不一定是目录）。这些存储桶可能不存在（因为它们具有非法名称）。所以当你跑

bucket = s3.Bucket(name)

bucket 可能为 null，后续列表将失败。

于 2016-02-15T23:30:07.040 回答