问题标签 [lz4]

将巨大的 CSV 文件提供给 LZ4 压缩 API 的最佳方法是什么？以下对于非常大的文件不是最佳的。

我有大量以 lz4 格式压缩的推文数据。我想打开每个文件并解压缩，然后从 python 中提取一些信息。

当我lz4c -d在 Ubuntu 中使用命令解压缩文件时，文件解压缩得很好。但是当我lz4.loads('path_to_file')在 python 中使用时，它会抱怨ValueError: corrupt input at byte 6. 当我尝试以字节模式读取（）文件时，会发生相同的错误消息。我该怎么办？

我需要压缩/解压缩哈希表中包含的值。由于 LZ4 似乎提供比 GZip 更好的性能，我正在尝试。

这是我的代码。特别table_data_cache是HashMap<String, List<Object>>，每个列表有 2 个对象，只有第一个对象需要压缩

压缩

减压

但我有以下错误：

net.jpountz.lz4.LZ4Exception：错误解码输入缓冲区的偏移量 1

怎么了？

我需要使用压缩技术。但无法在 lz4 和 zlib 之间做出决定。我在网上搜索了一下，非常推荐 lz4，但我没有找到任何关于输出大小的数据。所以谁能告诉我在最终输出大小方面哪个更好。

我正在使用LZ4 压缩器C 库。我压缩的一些文件是 JPG 和 PNG。由于某种原因，我无法理解，该方法

有时会为我正在压缩的图像返回负值（或零）。

例如，我正在压缩两个标准的 JPG 图像。一个返回值'-236'，而第二个返回压缩字节数，这意味着第一个压缩失败。归零意味着 LZ4 压缩失败。我不知道-236是什么意思。是不是因为源数据已经被压缩到了一定程度？

我有这个嵌入式系统，板上放置了一个闪存来存储大量数据。主控制器是一个 ARM Cortex-M3 处理器，我应该压缩放在闪存的一部分上的数据，并将压缩后的数据放在闪存的另一部分。

现在由于这类系统中 SRAM 的数量是有限的，我该如何使用 LZ4HC 算法呢？我不能像在 PC 中那样一次压缩整个数据，我想我必须对一小块数据或逐块执行此操作（例如每 512 或 4096 字节的数据）。我只是不确定如何。我无法完全理解这些功能。
甚至可以逐块执行此操作吗？
我找不到任何例子。而且开源代码没有附带好的文档。实际上我认为没有文档。

的文档LZ4_decompress_safe说：

但没有指定如何区分问题是目标缓冲区太小还是输入格式错误/参数组合错误/...

在我不知道目标解压缩大小的情况下，我如何知道是否应该使用更大的缓冲区重试？

我需要将目录的所有内容压缩到一个lz4存档中，我想不出一种方法来做到这一点。我已经阅读了所有可用的参数，但仍然没有成功。请建议我如何实现这一目标。

我需要压缩一个目录及其子目录和文件。首先，我尝试使用本机ZipFile.CreateFromDirectory，但速度很慢。所以我发现 LZ4 是快速压缩算法也发现了 c# port lz4net。但我几乎找不到任何使用lz4net.
使用 LZ4Net 压缩（这是我在 SO 上找到的唯一有用的）
那么如何使用 压缩目录lz4net？

我正在使用 linux 命令行 lz4 来压缩 csv 文件。

例子：-

lz4 输入.csv

这导致 input.csv.lz4 作为输出

但是当我尝试使用以下命令在 spark shell 中读取 lz4 文件时，它总是导致空结果。

val output = sparkSession.read.format("com.databricks.spark.csv").option("delimiter", "\t").load("s3:///input.csv.lz4")

output.count res: Long = 0

我在某处发现 lz4 命令行工具可能与 spark 不兼容

https://forums.databricks.com/questions/7957/how-can-i-read-in-lz4-compressed-json-files.html

有没有人让它在火花中读取 lz4 文件。如果是，lz4 文件是如何创建的？