amazon-s3 - S3 中多个 JSON 文件的清单

Question

我正在尝试使用 S3 的清单创建一个快速查看数据源。S3 的数据是多个 JSON 文档。数以百万计。我可以使用这样的单个文档创建数据集：

{
    "fileLocations": [
        {
            "URIs": [
                "https://s3-us-west-2.amazonaws.com/my-bucket/doc1.json"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}

但是，我想要所有的 JSON 文档。我正在尝试这样做但没有成功：

{
    "fileLocations": [
        {
            "URIs": [
                "https://s3-us-west-2.amazonaws.com/my-bucket/*.json"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}

如何在 S3 上为 JSON 文档创建通配符清单？

Answer 1

以下应该获取存储桶中的所有文件

{
    "fileLocations": [
        {
            "URIPrefixes": [ 
                "s3://my-bucket/"          
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}