问题标签 [zstd]

我不知道如何解压缩具有 .zst 或 tar.zst 扩展名的文件。完整文件名：- file.pkg.tar.zst 或 file.xz.tar.zst

我正在尝试解压缩大量 40 MB 以上的文件，因为我使用 ByteBuffers 和 Channels 并行下载它们。使用 Channels 比使用 Streams 获得了更好的吞吐量，我们需要这是一个非常高吞吐量的系统，因为我们每天需要处理 40 TB 的文件，而这部分过程目前是瓶颈。这些文件使用zstd-jni压缩。Zstd-jni 有用于解压缩字节缓冲区的 api，但是当我使用它们时出现错误。如何使用 zstd-jni 一次解压缩一个字节缓冲区？

我在他们的测试中找到了这些示例，但除非我遗漏了什么，否则使用 ByteBuffers 的示例似乎假设整个输入文件适合一个 ByteBuffer： https ://github.com/luben/zstd-jni/blob/master/src/测试/scala/Zstd.scala

下面是我用于压缩和解压缩文件的代码。压缩代码运行良好，但解压缩代码随后失败，错误为 -70。

这更像是一个概念性问题，但如果我有一个文件 A 和一个文件 B，如果 A != B，Compressed(A) 是否可能等于 Compressed(B)。此外，如果 A 和 B 的压缩表示匹配，A和B是否保证匹配？

我有一组用 zstandard 压缩的文件，并且想查看文件的前 10 兆字节而不解压缩整个文件。有没有办法让 zstdcat 只解压缩文件的前 N ​​个字节，而不是整个文件？

我有大型 zstd 压缩文本文件。

我怎样才能对它们进行快速搜索？

我可以使用 AG (The Silver Searcher) 或类似的东西吗？

我试过 AG 但它不起作用，我有一个“加载失败错误”：

我正在尝试通过 Windows 终端使用 zstd v1.4.0 解压缩大量压缩文件，然后通过“ag”搜索：

zstd -dc -r . | ag -z -i "term"

它在继续时给了我以下错误：

zstd：错误 70：写入错误：管道损坏（无法写入解码块）

我花了几个小时寻找解决方案，尝试了不同的zstd命令选项，但无法解决这个问题。

我是 Julia 的新手，我正在尝试移植我在 Python 中所做的一些事情。

我有一个我用 Python 编写的文件，其中一个 DataFrame使用zstd压缩库（由pandas和fastparquet支持，parquet 文件写入）到parquet文件。

它给出了一个错误，因为ParquetFiles或FileIO（不确定哪个负责解压缩）不支持zstd。

关于如何在 Julia 中读取此文件的任何想法？

我对 C++ 很陌生，我想std:string通过压缩库压缩对象Zstd，但到目前为止，我无法通过谷歌搜索找到用于此目的的 C++ 示例代码。我找到了示例 C 代码，但似乎它们使用的是 C 风格的字符数组而不是std:string对象。

示例 C 代码： https ://github.com/facebook/zstd/blob/dev/examples/simple_compression.c

我的问题是，是否有人可以指导我查看示例代码/片段，展示如何使用 Zstd 压缩 C++ 字符串？

AWS Redshift 最近发布了他们自己的新编码格式AZ64，他们说：

与 ZSTD 编码相比，AZ64 消耗的存储空间减少了 5-10%，速度提高了 70%

当我使用它时，ANALYZE COMPRESSION my_table我仍然会收到ZSTD它所有列的编码格式。

那么它真的被推荐为 ZSTD 的编码格式吗？我是否应该尽可能天真地选择 AZ64 来使用它？

运行时使用 CMake安装headptrack时遇到问题cmake -DCMAKE_BUILD_TYPE=Release ..heaptrack/build