apache-spark - 如何使用 Databrick 访问 AWS 公共数据集？

Question

我是数据砖的新手。我正在为我的学校项目寻找公共大数据数据集，然后我在此链接上遇到了 AWS 公共数据集：https ://registry.opendata.aws/target/

我在 Databricks 上使用 python，但我不知道如何建立与数据的连接。我发现了以下如何指导：

https://databricks.com/wp-content/uploads/2015/08/Databricks-how-to-data-import.pdf?_ga=2.25033139.881714623.1602433762-982722630.1598480448

它提到

我不确定如何找到各自的 access_key、secret_key、AWS_bucket_name 和 mount_name。

Answer 1

本文档适用于非公共 S3 存储桶。

对于这个数据集，您可以简单地使用s3://...URL 读取，如下所示：

df = spark.read.format("text").load("s3://gdc-target-phs000218-2-open/")

我text只是以文件格式为例，但由于此数据集使用 XML 来存储数据，因此您需要使用spark-xml 库之类的东西来提取必要的数据。