amazon-web-services - 如何使用 Databricks 访问 AWS 公共数据集？

Question

对于我的一门课，我必须分析“大数据”数据集。我在 AWS Registry of Open Data 上发现了以下看起来很有趣的数据集：

如何准确地创建连接并将此数据集加载到 Databricks 中？我尝试了以下方法：

df = spark.read.format("text").load("s3://openaq-fetches/")

但是，我收到以下错误：

java.lang.AssertionError: assertion failed: Conflicting directory structures detected. Suspicious paths:

此外，这个数据集似乎有多个文件夹。如何访问 Databricks 中的特定文件夹，如果可能，我可以专注于特定时间范围吗？比方说，从 2016 年到 2020 年？

最终，我想执行各种 SQL 查询以分析数据集并可能创建一些可视化。先感谢您。

score 1 · Accepted Answer

如果您浏览 bucket，您会看到那里有多个数据集，格式不同，需要不同的访问方法。所以你需要指向特定的文件夹（可能是它的子文件夹来加载数据）。比如，要加载daily数据集，您需要使用 CSV 格式：

df = spark.read.format("csv").option("inferSchema", "true")\
   .option("header", "false").load("s3://openaq-fetches/daily/")

例如，要仅加载数据的子集，您可以使用路径过滤器。请参阅有关加载数据的 Spark 文档。

PSinferSchema从性能的角度来看并不是非常理想，因此最好在阅读时明确提供架构。

1 回答 1