amazon-web-services - Common Crawl S3 存储桶所需的 AWS 凭证

Question

我正在尝试访问 Common Crawl 新闻 S3 存储桶，但我不断收到“致命错误：无法找到凭据”消息。关于如何解决这个问题的任何建议？据我所知，Common Crawl 甚至不需要凭据？

Answer 1

来自可用的新闻数据集 – 常见抓取：

即使没有 AWS 账户，您也可以通过添加命令行选项来访问数据--no-sign-request。

我通过启动一个新的 Amazon EC2 实例（没有 IAM 角色）并发出以下命令对此进行了测试：

aws s3 ls s3://commoncrawl/crawl-data/CC-NEWS/

它给了我错误：Unable to locate credentials

然后我使用附加参数运行它：

aws s3 ls s3://commoncrawl/crawl-data/CC-NEWS/ --no-sign-request

它成功列出了目录。