问题标签 [python-s3fs]

有没有人使用 S3Fs 合并成功地使用 python 将 s3 对象合并到一个文件中？由于某种原因，它创建的应该包含合并文件的文件是空的，我无法弄清楚我做错了什么。我想从一个 s3 存储桶文件夹中的多个 csv 文件创建一个 csv 文件。这就是我的语法：

filelist 变量是一个列表，其中包含某个文件夹中文件的路径。

filelist = fs.find('路径/到/文件夹')

合并 = fs.merge('path/to/folder/file_to_create.csv', [filelist])

谢谢！

我正在从 S3 下载一个文件（确切地说是一组镶木地板文件）并将其转换为 Pandas DataFrame。我正在使用 Pandas 函数执行此操作read_parquet，并且s3fs如此处所述：

但是，到目前为止，我只能通过环境变量或 AWS 配置文件进行身份验证。由于公司标准，我希望通过局部变量进行身份验证，例如我们使用的方式pyarrow.parquet：

有没有办法做到这一点read_parquet？我不能filesystem用它来争论吗？

如果有人好奇，我没有使用pq.ParquetDataset它，因为它太慢了（我不知道为什么）。

尝试在Windows中的Python 3.10.2 中导入s3fs时出现此错误：

ImportError: cannot import name 'is_valid_ipv6_endpoint_url' from 'botocore.endpoint'

我在Github中发现了这个建议使用. 我做到了，但异常仍然存在。pip install urllib3==1.25.10

我该如何解决这个问题？