问题标签 [zstd]

我ztsd在我的 CentOS 7 系统上使用yum install zstd. 如何检查系统上安装的 zstd 是否支持压缩输入lz4？

在 zstd 中支持 lz4 的相关链接 - https://github.com/valyala/gozstd/blob/master/zstd/programs/README.md#compilation-variables

注意：我的系统在安装 zstd 时已经安装了 lz4。

我正在尝试解码一堆我不知道原始文件是什么的 .ZST 文件，以便我可以访问它们，但是所有 .ZST 都返回完全相同的错误并且不会被解压缩。错误是Decoding error (36) : Dictionary mismatch。使用的命令zstd -d *在 Windows 10 x64 上使用 ZSTD v1.4.4 for Win x64。

我已经尝试过 CMD、PowerShell 和 Bash 作为不同的环境来运行命令，但都返回完全相同的错误。我尝试解压缩单个文件以查看它是否是批量操作问题，但它也不起作用。我最后一次尝试是谷歌错误，但我找不到任何东西。

编辑：在进一步调查之后，我决定尝试检查我的 ZST 文件的 MIME 类型，其中一些application/x-zstd以application/octet-stream. 我想知道这可能是问题吗？尽管这两种 MIME 类型都不起作用，但它们都返回相同的错误。

有谁知道我该如何解决这个错误并解压缩我的文件？

这是供参考的 ZST 文件之一：https ://mega.nz/#!eV0VTKBQ!WBW_pVIq8Tsn2Rrv3XKmt4DSAH7IHbHtaAuNB9uRTMQ

我有 14,000 个 25 MB 文件，我正在尝试将它们压缩到最小大小以进行存储。在运行时，我只需要解压缩一两个文件。有足够的文件内冗余，它们可以很好地压缩，但也有足够的文件间冗余，首先去皮使压缩率加倍：

有没有办法以压缩器可以利用文件间冗余的方式压缩一组文件，但解压缩器不需要解压缩所有数据？在运行时提取 33GB 的 tar 将是站不住脚的。我可以直接使用压缩器库 API，但不希望大量修改库本身。

我尝试使用zstd，从完整文件集中训练字典，使用该字典进行压缩，但压缩率没有任何改善（zstd 字典似乎只对非常小的文件有帮助）。

是否有适用于 LZ4 和 ZStd 的最佳 Java 压缩库。我尝试过使用 apache commons（这是 zstd-jni 实现）

但是这段代码不起作用它会抛出

对于 LZ4，我只需将 ZStdCompressorOutputStream 替换为

但是压缩 2.4GB (csv) 文件需要将近 2 小时（尚未完成）。代码有什么问题吗？或任何其他建议？

在 Python 方面，我有点初学者，但我在学校的一个项目需要我在这个 reddit 流行数据集上执行分类算法。这些文件是巨大的 .zst 文件，可以在这里找到：https ://files.pushshift.io/reddit/submissions/ 无论如何，我只是不确定如何将它提取到数据库中，因为我们已经完成了任务到目前为止，我只使用了 .csv 数据集，我可以轻松地将其放入 pandas 数据框中。我偶然发现了另一篇文章，并尝试使用代码：

但是我不完全确定如何将其放入熊猫数据框中，或者如果文件太大，则仅将一定百分比的数据点放入数据框中。任何帮助将不胜感激！

以下代码只会在我每次尝试运行它时使我的计算机崩溃：

可能是由于文件的大小太大，有没有办法将这个文件的一部分提取到 pandas 数据框中？

下午好，我下载并编译了erlang 1.22 elixir 1.11 和phoenix 1.4。我创建了一个演示应用程序（研究框架），并设法安装了一些库 postgrex、plug_cowboy 等。我想尝试一下 zstd 并将其放在我的 mix.exs 文件中

我输入了 mix.deps.get 并且一切都很好下载，但是一旦我尝试输入 mix phx.server 它就会给我这个错误

（我已经安装了 libzstd-dev 和 libzstd1-dev 并且 nothong 工作）。对此的任何启示都会非常感激，非常感谢。

我一直在尝试通过我的 Mac 终端下载这个数据集。我知道它很大！https://zenodo.org/record/3606810

我有 tar.zst 文件，当我尝试解压缩（使用zstd -d pol_0616-1119_labeled.tar.zst）时，它会抛出这个错误：

1119_labeled.tar.zst : Read error (39) : premature end

我看起来很想解决问题的方法。我有什么明显的遗漏吗？提前感谢您的帮助。

• 设置：

我在 Windows 10 机器上使用 MongoDB v4.2.7 和 .Net MongoDB 驱动程序 v2.11.0(beta v)。

• 代码

• 配置

我编辑了我的 mongod.cfg 文件，如下所示：

• 问题：

成功添加集合和文档后，我db.printCollectionStats()在 mongo shell 上运行了，我进入block_compressor=snappy了 WiredTiger 部分，而它应该是block_compressor=zstd.

下面是 db.Stats(1024*1024*1024) 输出以及 “dataSize”的屏幕截图：0.08773485571146011 和“storageSize”：0.009387969970703125

我想为我的 C++ 库项目使用zstd压缩库。我的构建系统基于meson。我的meson.build文件看起来像这样

我制作了一个 zstd 介子包装文件subprojects/zstd.wrap

当我运行时meson compile出现此错误

问题似乎在于 zstd 使用 CMAKE 作为默认构建系统，并且介子文件位于build/meson子文件夹中，而不是位于介子期望的根目录中。我试过了：

• 用于子项目default_options: 'builddir=build/meson'，但没有效果
• 使用 CMAKE 集成构建 zstd 但因其他错误而失败，这使得设置更加复杂
• 制作补丁以将 zstd 介子构建文件向上移动两个目录到 的根目录zstd，但这需要更多的依赖关系，后来由于路径解析失败，因为 zstd 期望文件在根目录中build/meson而不是在根目录中。

我可以轻松地将 zstd 构建为我的 C++ 库的介子子项目吗？

我正在使用Spark 3.0.1和用户提供的Hadoop 3.2.0和Scala 2.12.10在Kubernetes上运行。

读取压缩为snappy的 parquet 文件时一切正常，但是当我尝试读取压缩为 zstd 的 parquet 文件时，几个任务在以下错误下失败：

我没有得到的是，这些任务在重试后会成功，但并非总是如此，因此我的工作经常失败。如前所述，如果我使用与 snappy 相同的数据集压缩，一切正常。

我还尝试构建 Spark 和 Hadoop，更改 zstd-jni 版本，但仍然会发生相同的行为。

有谁知道可能会发生什么？

谢谢！