java - 如何在 Java 中正确实现 LZ4、Snappy 或等效压缩技术？

Question

我已经尝试将 Java 版本的 LZ4 实现到一种尝试从大型文本文件中搜索数据的搜索引擎类型的程序中。我只是压缩了输出流并将其存储到 txt 文件或没有名称的文件中。但是，我意识到所谓的压缩文件并没有减小大小，但它的大小甚至比原始文件还要大。

最后我不得不求助于 zip4j，因为它对我有用。

我想知道如何使用 LZ4 或 Snappy 的 jar 来正确压缩/解压缩？

另外，我如何使用这样的算法来压缩一个文件夹，里面有很多文件？

谢谢！

Answer 1

我遇到了类似的问题。我试图通过本地网络以 8192 字节的块发送一个大文件（〜 709 MB）。我使用 Lz4 压缩/解压缩来减少网络带宽。

因此，假设您正在尝试做类似的事情，这是我的建议：

这是您可以在https://github.com/jpountz/lz4-java上找到的类似常规示例的片段

private static int decompressedLength;
private static LZ4Factory factory = LZ4Factory.fastestInstance();
private static LZ4Compressor compressor = factory.fastCompressor();

public static byte[] compress(byte[] src, int srcLen) {
    decompressedLength = srcLen;
    int maxCompressedLength = compressor.maxCompressedLength(decompressedLength);
    byte[] compressed = new byte[maxCompressedLength];
    compressor.compress(src, 0, decompressedLength, compressed, 0, maxCompressedLength);
    return compressed;
}

现在，如果您按原样返回压缩字节数组，那么它的长度很有可能大于原始未压缩数据。

所以你可以修改如下：

private static int decompressedLength;
private static LZ4Factory factory = LZ4Factory.fastestInstance();
private static LZ4Compressor compressor = factory.fastCompressor();

public static byte[] compress(byte[] src, int srcLen) {
    decompressedLength = srcLen;
    int maxCompressedLength = compressor.maxCompressedLength(decompressedLength);
    byte[] compressed = new byte[maxCompressedLength];
    int compressLen = compressor.compress(src, 0, decompressedLength, compressed, 0, maxCompressedLength);
    byte[] finalCompressedArray = Arrays.copyOf(compressed, compressLen);
    return finalCompressedArray;
}

compressLen存储实际压缩长度，finalCompressedArray字节数组（长度为 compressLen）存储实际压缩数据。一般来说，它的长度小于压缩 字节数组和原始未压缩字节数组的长度

现在您可以按以下常规方式解压缩finalCompressedArray字节数组：

private static LZ4FastDecompressor decompressor = factory.fastDecompressor();

public static byte[] decompress(byte[] finalCompressedArray, int decompressedLength) {
    byte[] restored = new byte[decompressedLength];
    restored = decompressor.decompress(finalCompressedArray, decompressedLength);
    return restored;
}

Answer 2

文件.jar就是.zip文件。zip 文件格式不支持 LZ4 或 Snappy。