3

我正在做一个项目,碰巧有些数据是以 S3fileSystem 的形式提供的。我可以使用S3FileSystem.open(path)读取该数据。但是有360多个文件,读取一个文件至少需要3分钟。我想知道,有没有办法在我的系统中下载这些文件并从那里读取它们,而不是直接从 S3fileSystem 读取。还有另一个原因,虽然我可以读取所有这些文件,但是一旦我在 colab 上的会话重新连接,我必须再次重新读取所有这些文件,因此需要很长时间。我正在使用以下代码读取文件

fs_s3 = s3fs.S3FileSystem(anon=True)
s3path = 'file_name'
remote_file_obj = fs_s3.open(s3path, mode='rb')
ds = xr.open_dataset(remote_file_obj, engine= 'h5netcdf')

有没有办法下载这些文件?

4

1 回答 1

1

您可以使用另一个s3fs挂载存储桶,然后将文件复制到 Colab。

如何安装

安装后,您可以

!cp /s3/yourfile.zip /content/
于 2020-05-02T00:58:45.617 回答