问题标签 [zstandard]

有没有办法让 zstd 压缩文件像 gzip 那样使用--rsyncable选项“rsyncable”？

我尝试将输入文件拆分为固定长度的块并单独压缩它们，但没有成功。

关于--rsyncable选项：

当您在两台计算机之间同步压缩文件时，此选项允许 rsync 仅传输存档中更改的文件，而不是整个存档。通常，在对档案中的任何文件进行更改后，压缩算法可以生成与档案的先前版本不匹配的新版本的档案。在这种情况下，rsync 会将整个新版本的存档传输到远程计算机。使用此选项，rsync 可以仅传输更改的文件以及更新更改区域中的存档结构所需的少量元数据。

没有足够的 zstd 压缩示例。我正在使用 zstandard 0.8.1，尝试一次压缩 2 个字节。在使用时遇到了https://anaconda.org/rolando/zstandardwrite_to(fh)，但不知道如何使用它。下面是我尝试从文件中读取一个chuck字节的部分代码，然后压缩每个chuck，cctx = zstd.ZstdCompressor(level=4) with open(path, 'rb') as fh: while True: bin_data = fh.read (2) #read 2 bytes if not bin_data: break compressed = cctx.compress(bin_data) fh.close()

但是我应该如何使用 write_to()？

使用这个 python 模块 zstd 0.8.1 仍然很新。我对以下内容进行了测试，

然而，当我这样做时，

我的错误是什么？

我对 python 编程语言非常陌生，我遇到了模块 zstandard 的问题。我目前正在使用 Halite 的重播文件。因为它们是用 zstandard 压缩的，所以我必须使用这个模块。如果我读了一个文件，一切都很好！我可以解压缩“.hlt”文件。

但是我已经对要保存在磁盘上以供以后使用的 json 数据进行了一些转换。我发现再次存储压缩数据非常有用，所以我使用了压缩器。压缩也很好。但是，如果我再次打开刚刚创建的文件，我会收到一条错误消息：“zstd.ZstdError: decompression error: Unknown frame descriptor”。

看看我下面的代码：

我在这里使用它：

函数rp.parse(..)只是转换数据 - 所以它只是创建一个字典 .. rp.parse(..)函数也调用transformCompressedToJson，所以它适用于 hlt 文件。

希望你们能帮助我解决这个问题。

问候，

噪声

自 Spark 2.3.0 ( https://issues.apache.org/jira/browse/SPARK-19112 ) 起， Apache Spark 据称支持 Facebook 的 Zstandard 压缩算法，但我实际上无法读取 Zstandard 压缩文件：

我需要做什么才能读取这样的文件？

环境是 AWS EMR 5.14.0。

如何在 Windows 或 Python 中解压缩 zstd 文件？

我一直在处理文件很长时间.bz2。要将文件解压缩/解压缩.bz2到特定文件夹中，我一直在使用以下功能：

最近我获得了一个带有.xz(not .tar.xz) 和.zst扩展名的文件列表。我糟糕的研究技能告诉我，前者是lzma2压缩，后者是Zstandard。

但是，我找不到将这些档案的内容解压缩到文件夹中的简单方法（就像我对.bz2文件所做的那样）。

我怎样才能：

1. 使用 Python 3将.xz( ) 文件的内容解压到文件夹中？lzma2
2. 使用 Python 3将.zst( ) 文件的内容解压缩到文件夹中？Zstandard

重要提示：我正在解压缩非常大的文件，因此如果解决方案考虑到任何潜在的内存错误，那就太好了。

我正在尝试通过 Windows 终端使用 zstd v1.4.0 解压缩大量压缩文件，然后通过“ag”搜索：

zstd -dc -r . | ag -z -i "term"

它在继续时给了我以下错误：

zstd：错误 70：写入错误：管道损坏（无法写入解码块）

我花了几个小时寻找解决方案，尝试了不同的zstd命令选项，但无法解决这个问题。

org.apache.hadoop.io.compress.zstd.ZStandardCompressor 中的压缩级别似乎不起作用。我看到在 ZStandardCompressor 构造函数中调用了reset 函数，它是调用init(level, stream)来调用本机函数，我认为这只是设置 zstd 参数的地方。在我的测试中，我确保正在调用它，但将其称为不同的级别，如 1、5、10、20 等并没有任何区别，因为输出大小完全相同。

Hadoop似乎没有使用zstd-jni，而是使用自己的东西来使用zstd。我确信人们在 hadoop 中使用了不同的级别。你能指出我应该四处寻找下一步吗

我正在使用 pandas 使用以下命令将数据帧转换为 .parquet 文件：

我需要使用 zstandard 作为压缩算法，但上面的函数只接受 gzip、snappy 和 brotli。我试过有没有办法在这个函数中包含 zstd ？如果没有，我怎么能用其他包做到这一点？我尝试使用zstandard，但它似乎只接受类似字节的对象。