问题标签 [zstd]

在大多数情况下，它工作得很好。例如，我压缩 3D 网格。几乎所有型号的压缩\解压缩都很好。但是当程序尝试解压缩时，2或3个模型可能会出错。解压很好，但是释放内存时出错

yyMemAlloc它yyMemFree只是从_mallocfreemylib.dll

现在 ZStd 代码。请检查。

或者也许 ZStd 代码很好，而其他地方有问题？

它看起来像问题，yyMemAlloc但yyMemFree它只是malloc并且free我在不同的模块（.exe 和许多 .dll）中到处使用它，一切正常。

我们在 S3 (>1B) 中有很多文件，我想压缩这些文件以降低存储成本。什么是一种简单有效的方法来做到这一点？

谢谢

亚历克斯

我正在尝试连接到两个大型本地存储的 SQL 数据库并在其上运行查询，文件扩展名如下：

我的偏好是使用 RMySQL 包——但是我发现很难找到关于 a) 如何访问本地存储的 SQL 文件和 b) 如何处理 zstd 扩展的文档。

这可能是非常基本的，但感谢您的帮助！

I use docker-compose under Windows 10 like so:

My mongod.conf:

Still I get the same disk size use when I docker exec docker_mongo_1 df both with and without zstd. With zstd:

Without:

(The slight variation is due to randomness of inserted data, but the number of documents and their sizes is within a few percent of each other.) I used mongodump from snappy and mongorestore into zstd to ensure most documents are untouched before running some tests.

Is a zstandard installation required on the Mongo docker image? Or am I lacking some mongodb/docker configuration? Or is it really not effective for my data? If so: why is that and can I make it effective? Or is the docker platform the problem? Or is it Docker on Windows?

PS The reason I'm not posting on a dba forum is that the question is multi-disciplinary.

有一个用例，我需要将 org.bson.Document 压缩并存储到缓存中。我正在使用 zstd 压缩，它需要一个字节数组。无法找到将 Document 转换为字节数组的方法。

我正在尝试使用 Scala 上的 Spark 读取 zst 压缩文件。

不幸的是，这会产生以下错误：

org.apache.spark.SparkException：作业因阶段失败而中止：阶段 0.0 中的任务 0 失败 1 次，最近一次失败：阶段 0.0（TID 0）中丢失任务 0.0（192.168.0.101 执行程序驱动程序）：java.lang。 RuntimeException：本机 zStandard 库不可用：此版本的 libhadoop 是在没有 zstd 支持的情况下构建的。

我的 hadoop checknative 如下所示，但我从这里了解到 Apache Spark 有自己的 ZStandardCodec。

本机库检查：

• hadoop：真/opt/hadoop/lib/native/libhadoop.so.1.0.0
• zlib: 真 /lib/x86_64-linux-gnu/libz.so.1
• zstd：真 /lib/x86_64-linux-gnu/libzstd.so.1
• snappy: 真 /lib/x86_64-linux-gnu/libsnappy.so.1
• lz4：真正的修订：10301
• bzip2：真 /lib/x86_64-linux-gnu/libbz2.so.1
• openssl: false EVP_CIPHER_CTX_cleanup
• ISA-L：在没有 ISA-L 支持的情况下构建了错误的 libhadoop
• PMDK: false 本机代码是在没有 PMDK 支持的情况下构建的。

任何想法表示赞赏，谢谢！

更新 1：根据这篇文章，我已经更好地理解了该消息的含义，即默认情况下编译 Hadoop 时未启用 zstd，因此一种可能的解决方案显然是在启用该标志的情况下构建它。

我在 Big Sur 上使用 mysql8 - 它与 MacPorts 一起安装。我一直无法通过 CPAN 和手动安装 DBD::mysql。我得到的错误信息是：

一些（可能完全不相关的）事实可能会有所帮助 - 我在这里在黑暗中摸索：

• 尽管 MacPorts Perl 显示为“活动”，但我正在使用 /usr/bin/perl。@INC 不包含 /opt 中的任何内容
• 我在 /opt/local/lib 中找到以下内容：

• 当我运行时mysql_config，我得到以下与库相关的输出：

有什么提示吗？提前谢谢了！

我从地址克隆了一个大的tar文件：https://github.com/uni-due-syssec/evmpatch-eval-data/tree/master/large-scale； 但是当我在Linux系统中使用命令tar -I zstd -xvf osiris_dataset_14k.tar.zst解压它时，我遇到以下错误：

我在网上冲浪，但没有找到解决方案

我尝试了为 mysqlclient 错误编写的常见解决方案

• 第一次尝试：brew install mysql-connector-c
• 第二次尝试： LDFLAGS=-L/usr/local/opt/openssl/lib pip install mysqlclient
• 第三次尝试：brew install zstd

mysql服务器运行良好。但是错误没有得到修复..

我开始clang linker error说library not found for -lzstd

我有 kde 和 arch linux。我发现有一个 zstd 的下载，但它是一个压缩的 .zst 文件，需要 zstd 来解压缩它，这就是我想要得到的。那我该怎么办。

所以我首先以 root 身份：pacman -Syu 并对所有问题回答 Y。

然后我做了：

[root@phaethon kreher]# pacman -S zstd 解决依赖关系...寻找冲突的包...

包（一）zstd-1.5.0-1

总安装大小：3.61 MiB

:: 继续安装？[Y/n] y (1/1) 检查密钥环中的密钥 [################################## ########] 100% (1/1) 检查包完整性 [############################# ############] 100% (1/1) 加载包文件 [######################### ################] 100% 错误：无法打开文件 /var/cache/pacman/pkg/zstd-1.5.0-1-x86_64.pkg.tar.zst： Unrecognized archive format error: failed to commit transaction (cannot open package file) 发生错误，没有升级包。[root@phaethon kreher]#

现在我该怎么办？