python - Azure Data Lake Storage Gen2 (ADLS Gen2) 作为 Kedro 管道的数据源

Question

根据 Kedro 的文档，Azure Blob 存储是可用的数据源之一。这是否扩展到 ADLS Gen2 ？

还没有尝试过 Kedro，但在我投入一些时间之前，我想确保我可以连接到 ADLS Gen2。

先感谢您 ！

Answer 1

是的，这适用于 Kedro。您实际上指的是文档的一个非常旧的版本，现在 Kedro 中所有基于文件系统的数据集都在底层使用fsspec，这意味着它们可以无缝地与 S3、HDFS、本地和更多文件系统一起使用。

ADLS Gen2 由此处记录ffspec的底层adlfs库支持。

从 Kedro 的角度来看，您需要做的就是像这样声明您的目录条目：

 motorbikes:
     type: pandas.CSVDataSet
     filepath: abfs://your_bucket/data/02_intermediate/company/motorbikes.csv
     credentials: dev_az

我们这里还有更多的例子，特别是例子 15。