问题标签 [zstandard]

我有一个 16gb 的压缩 zst 文件。我将如何在 Windows 上解压缩它？我没有内存来处理解压后的版本，所以需要直接写入文件。

我ztsd在我的 CentOS 7 系统上使用yum install zstd. 如何检查系统上安装的 zstd 是否支持压缩输入lz4？

在 zstd 中支持 lz4 的相关链接 - https://github.com/valyala/gozstd/blob/master/zstd/programs/README.md#compilation-variables

注意：我的系统在安装 zstd 时已经安装了 lz4。

我正在尝试解码一堆我不知道原始文件是什么的 .ZST 文件，以便我可以访问它们，但是所有 .ZST 都返回完全相同的错误并且不会被解压缩。错误是Decoding error (36) : Dictionary mismatch。使用的命令zstd -d *在 Windows 10 x64 上使用 ZSTD v1.4.4 for Win x64。

我已经尝试过 CMD、PowerShell 和 Bash 作为不同的环境来运行命令，但都返回完全相同的错误。我尝试解压缩单个文件以查看它是否是批量操作问题，但它也不起作用。我最后一次尝试是谷歌错误，但我找不到任何东西。

编辑：在进一步调查之后，我决定尝试检查我的 ZST 文件的 MIME 类型，其中一些application/x-zstd以application/octet-stream. 我想知道这可能是问题吗？尽管这两种 MIME 类型都不起作用，但它们都返回相同的错误。

有谁知道我该如何解决这个错误并解压缩我的文件？

这是供参考的 ZST 文件之一：https ://mega.nz/#!eV0VTKBQ!WBW_pVIq8Tsn2Rrv3XKmt4DSAH7IHbHtaAuNB9uRTMQ

我一直在尝试通过我的 Mac 终端下载这个数据集。我知道它很大！https://zenodo.org/record/3606810

我有 tar.zst 文件，当我尝试解压缩（使用zstd -d pol_0616-1119_labeled.tar.zst）时，它会抛出这个错误：

1119_labeled.tar.zst : Read error (39) : premature end

我看起来很想解决问题的方法。我有什么明显的遗漏吗？提前感谢您的帮助。

Rakudo 我按照此处的说明进行了构建。通过类似的阅读here和here，我尝试使用VS-2019在Windows中构建它。

但是，Rakudo在 Windows 中构建时，我收到以下构建警告：

上面的代码块中只显示了警告。完整的日志在这里给出。

用于构建的系统：Appveyor with VS-2019 in Windows

配置：

1. 虽然我已经从 Chocolatey 安装zstandard（https://github.com/facebook/zstd），但为什么我会得到.. did not find libzstd; will not use heap snapshot format version 3
2. 在构建过程中这些警告（除了zstd）是否是我可以安全忽略的无害的？还是我应该担心？
3. 有没有办法摆脱这些警告？

• 设置：

我在 Windows 10 机器上使用 MongoDB v4.2.7 和 .Net MongoDB 驱动程序 v2.11.0(beta v)。

• 代码

• 配置

我编辑了我的 mongod.cfg 文件，如下所示：

• 问题：

成功添加集合和文档后，我db.printCollectionStats()在 mongo shell 上运行了，我进入block_compressor=snappy了 WiredTiger 部分，而它应该是block_compressor=zstd.

下面是 db.Stats(1024*1024*1024) 输出以及 “dataSize”的屏幕截图：0.08773485571146011 和“storageSize”：0.009387969970703125

我看到您可以为特定文件类型提供训练有素的样本以提高压缩率，如果您丢失了该字典，您是否仍然能够解压缩存档或者它基本上已损坏？

所以我正在使用zstandardpython库，并且我编写了一个帮助类和函数来使用上下文来解压缩文件。

这非常有效，允许我with openZstd('filename.zst', 'rb') as f:在使用文件f进行json转储和加载之前使用。但是，我在将其推广到写作时遇到了问题，我尝试以与迄今为止相同的方式遵循文档，但有些东西不起作用。这是我尝试过的：

当我使用此类打开文件并执行 ajson.dump([], f)时，由于某种原因，该文件最终为空。我想其中一个步骤是吞下我的输入，但不知道它可能是什么。

在大多数情况下，它工作得很好。例如，我压缩 3D 网格。几乎所有型号的压缩\解压缩都很好。但是当程序尝试解压缩时，2或3个模型可能会出错。解压很好，但是释放内存时出错

yyMemAlloc它yyMemFree只是从_mallocfreemylib.dll

现在 ZStd 代码。请检查。

或者也许 ZStd 代码很好，而其他地方有问题？

它看起来像问题，yyMemAlloc但yyMemFree它只是malloc并且free我在不同的模块（.exe 和许多 .dll）中到处使用它，一切正常。

关于这方面的资料不多，我想要一些能让我理解的想法和思维方式。