问题标签 [zstd]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
90 浏览

flutter - 如何从streambuilder中的websocket解压缩数据(由zstd压缩)?

websocket连接成功,并且接收到数据,snapshot.data比如[31, 42, 42,12.......] 数据被zstd压缩了,怎么解压?

从pub.dev找到一个包,但我不知道如何使用它,请你提供一个例子,非常感谢

0 投票
1 回答
48 浏览

c++ - 使用 libpcap 读取 zst 压缩 pcap

我想用 libpcap 解码 zst 和 gz pcap 但我找不到任何这样做的例子。当然我不想有一个临时解压的 pcap 文件。你们能给我指出正确的方法吗?

谢谢

0 投票
1 回答
450 浏览

ubuntu - 如何从 Debian 11 中的 .pkg.tar.zst 在终端中解压缩一个文件 libffmpeg.so 而没有文件夹和子文件夹?

安装在 Debian 11 Bullseye Opera-stable_80.0.4170.72 上。没有 chromium-codecs-ffmpeg-extra 包,视频不在 Facebook 和 Twitter 上播放。

我的问题:如何使用以下命令从终端仅解压缩文件 libffmpeg.so 而没有文件夹和子文件夹:

0 投票
0 回答
71 浏览

encryption - 加密和压缩 BTRFS 文件系统的延迟问题

我在 Pop OS 20.04 下的 BTRFS 文件系统配置存在很大的延迟问题。

当我进行更新时,它会冻结我的计算机,有时我必须等待 5 秒钟才能刷新浏览器上的网页。

要在 Windows 10 虚拟机上启动 iTunes,最多可能需要 6 分钟!运行 Windows 10 虚拟机对我的 POP OS 响应能力来说简直是太可怕了。

这是我的配置:

该分区也使用 LUKS 加密(版本 2)加密:

延迟问题更多来自 zstd 压缩还是来自 Luks 加密?

我应该更改所有磁盘的压缩类型吗?

0 投票
0 回答
107 浏览

python - WinXP 上的 Mercurial 5.9.3:为什么 zstd 压缩不可用?

我需要在 WinXP 32 位上使用 Mercurial。这些存储库是在不同的系统 (Win10) 上创建的,并且相对较新,因此它们需要 revlog-compression-zstd。不幸的是,这似乎在 WinXP 上不可用,即使是 Mercurial 5.9.3。每当我尝试在 repos 上运行一些 hg 命令时,我都会收到以下错误消息: repository requires features unknown to this Mercurial: revlog-compression-zstd

这是hg debuginstall(对不起,这是德语 Windows)的输出:

所以 zstd 已注册,但不可用。我将如何启用它?该文件mercurial.zstd.pyd存在于libMercurial 安装目录中。我什至尝试zstd.pyd从本地 Python 2.7 复制 a,但似乎没有被拾取。

我已经尝试降级 repo 以消除对 zstd 的需求,但它也不起作用。我这样做是通过添加

到 hgrc 并hg debugupgraderepo --run随后运行,但它只是告诉我nothing to do

我会很感激任何建议。谢谢你。

0 投票
0 回答
177 浏览

apache-spark - 如何更改通过 Spark 编写的文件的 ZSTD 压缩级别?

在 Spark 文档中声明默认的 zstd 压缩级别为 1。https://spark.apache.org/docs/latest/configuration.html

我在spark-defaults.conf中将此属性设置为不同的值,

在代码里面

使用 zstd 压缩多次读取相同的输入并以 parquet 格式保存/写入它根本不会改变输出文件的大小。如何在 Spark 中调整此压缩级别?

0 投票
0 回答
72 浏览

scala - 使用 Spark (Scala) 读取大型 zstd 文件

我正在尝试使用带有 Scala 2.12.10 的 Spark 3.1.1 加载存档大小为 16.4 GB 的 zstd 压缩 JSON 文件。请参阅示例文件以供参考。

作为参考,我的电脑有 32 GB 的 RAM。我正在使用的 zstd 解压缩器来自本机库

我的配置:

我的代码:

运行代码后,我收到以下错误。

任何想法表示赞赏!

0 投票
0 回答
12 浏览

amazon-athena - 使用 Athena 查询 zstd 压缩 JSON 文件时结果不正确

我正在尝试使用 Amazon Athena 查询使用 zstd 压缩的 JSON 文件。

DDL:

询问:

查询导致错误:Row is not a valid JSON Object - JSONException: Expected a ':' after a key at 10 [character 11 line 1]

我试过的

  • 当我在解压缩文件上使用相同的 DDL 运行相同的查询时,它可以工作。
  • 我的压缩文件扩展名.zstd不是默认的.zst.

可重现的例子

将以下记录保存在用 ZSTD 压缩的文件中。

并且使用与上述相同的 DDL 和查询,Athena 将仅返回空白字段。

0 投票
0 回答
14 浏览

python - 如何解决涉及缺少 /usr/local/lib/libzstd.1.3.7.dylib 的 DLopen 错误?

我收到的错误是

有人在 Mac 上遇到过这种情况吗?如何重新下载或恢复这个丢失的文件?下载 zstd (brew install zstd) 不起作用。

0 投票
0 回答
42 浏览

c - zstd 归一化算法中这些常量的目的是什么?

我正在查看zstd存储库中fse实现中使用的规范化算法,但我不理解某些部分:

我尝试使用各种输入运行该代码,我得到了一个很好的结果,因为归一化输出总和也必须等于2^tableLog. 它似乎是一个阈值表,可以为所有人制定proba -= 1proba +=1为所有人制定proba < 8。此外,这个vStep变量对我来说也很神秘=-)

这是完整的功能:

如果你想要文件的链接:你可以看这里

有人知道这些变量的目的是什么吗?它们是否与已知的归一化算法有关?