问题标签 [fsspec]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
641 浏览

python - 在 pandas.DataFrame.to_csv 命令中使用 fsspec

我想在通过 smtp-ssh 连接的远程机器上从 pandas 数据帧写入 csv 文件。有人知道如何正确添加“storage_options”参数吗?

Pandas 文档说我必须使用一些 dict 作为参数的值。但我不明白到底是哪个。

每次我得到ValueError: storage_options passed with file object or non-fsspec file path

我究竟做错了什么?

0 投票
1 回答
1310 浏览

python - 在python中使用pandas for fsspec时导入错误?

我遇到了一个问题,即在使用 pandas 的 read_csv() 期间尝试使用 io 的 StringIO 类中的缓冲区时,pandas 会报告导入错误。

0 投票
0 回答
93 浏览

python-3.x - 无法直接使用 fsspec https 文件系统实现读取 url

我正在使用fsspec包来实现读取 https 文件的功能。

上面的代码没有获取 url 的内容。上述代码的堆栈跟踪如下:

但是如果我们用缓存包装它,我就能得到内容。

为什么第一个代码部分无法获取内容?我做错什么了吗?

0 投票
1 回答
116 浏览

python - 尝试创建 s3 对象的本地缓存时没有此类文件错误

我正在尝试使用 Fsspec 在 AWS s3 上的公共访问存储桶中创建数据文件存储的本地缓存。公共访问存储桶位于此处。

我 100% 有必要在本地文件缓存中执行此操作,因为这旨在扩展,我不想物理下载每个单独的文件。我正在尝试通过使用底层 botocore 框架的 API 调用 fsspec 来做到这一点。一个简单的、最小的可重现示例如下所示:

导入 fsspec

如果安装了所有依赖项,则运行上述会重现错误。我尝试使用文件的对应链接地址切换 url(simplecache 方案基于此处的一些 fsspec 文档),但仍然出现以下错误:

是否有一个特定的 url 应该用于这样的事情?这是对象的直接 url(带有插入括号以防止链接立即下载文件)

0 投票
0 回答
59 浏览

pandas - Azure 数据块:pandas.read_parquet 错误

我在将镶木地板读入数据块中的熊猫时遇到了一些错误,如下所示:

在此处输入图像描述

任何人都有一个想法?以下是我的数据块运行时。

在此处输入图像描述

我的熊猫版

在此处输入图像描述

0 投票
2 回答
121 浏览

amazon-s3 - s3fs 和 fsspec 版本的工作组合是什么?ImportError:无法从“fsspec.asyn”导入名称“maybe_sync”

我使用的是最新版本的s3fs-0.5.2和fsspec-0.9.0,在导入s3fs的时候,遇到如下错误:

什么是 s3fs 和 fsspec 的工作组合版本?

0 投票
2 回答
83 浏览

python - Paramiko SFTP 文件重命名:OSError('不支持扩展请求。')

我找不到有关此异常的任何信息。我正在尝试使用 fsspec 重命名本地(Windows)SFTP 服务器上的远程文件。帕拉米科在幕后正在做一个posix_rename()。错误是什么意思?

路径看起来像/folder/file.ext

我可以用同一台服务器上的其他 FTP 客户端重命名文件。

0 投票
0 回答
54 浏览

python - 使用 fsspec 从 Google Cloud 中删除文件

我目前正在使用fsspec以下代码读取文件并将其写入我的谷歌云存储桶:

现在我想从 GCS 存储桶中删除一个文件,但我似乎找不到它的代码。阅读此处的文档,似乎有一些rm基于函数和一些delete函数,但它们似乎不起作用,因为它们不能这样fs.rm(...)或那样调用