2

我在 Azure Data Lake 中有一个数 GB 的 CSV 文件。使用 Dask，我可以在一分钟内读取此文件，如下所示：

>>> import dask.dataframe as dd
>>> adl_path = 'adl://...'
>>> df = dd.read_csv(adl_path, storage_options={...})
>>> len(df.compute())

但是，我不想将它读入 Dask 或 Pandas DataFrame——我想直接访问底层文件。（目前它是 CSV，但我也希望能够处理 Parquet 文件。）所以我也尝试使用adlfs 0.2.0：

>>> import fsspec
>>> adl = fsspec.filesystem('adl', store_name='...', tenant_id=...)
>>> lines = 0
>>> with adl.open(adl_path) as fh:
>>>    for line in fh:
>>>        lines += 1

在与 Dask 进程相同的时间内，此方法仅读取了 0.1% 的输入。

我尝试过使用fsspec' 缓存，认为这会在初始缓存完成后加快访问速度：

>>> fs = fsspec.filesystem("filecache", target_protocol='adl', target_options={...}, cache_storage='/tmp/files/')
>>> fs.exists(adl_path) # False
>>> fs.size(adl_path) # FileNotFoundError

>>> # Using a relative path instead of fully-qualified (FQ) path:
>>> abs_adl_path = 'absolute/path/to/my/file.csv'
>>> fs.exists(abs_adl_path) # True
>>> fs.size(abs_adl_path) # 1234567890 -- correct size in bytes
>>> fs.get(abs_adl_path, local_path) # FileNotFoundError
>>> handle = fs.open(abs_adl_path) # FileNotFoundError

是否有一种高效的方法可以远程读取 CSV（以及 Parquet）作为普通的 Python 文件句柄，而无需首先加载为 Dask DataFrame？

4

1 回答 1

3

我不知道为什么fs.get不起作用，但请在最后一行尝试：

handle = fs.open(adl_path)

即，您打开原始路径，但是您在“/tmp/files/”中的某处获得了本地文件的文件句柄（一旦完成复制）。

于 2020-03-12T15:19:33.153 回答