将巨大的 CSV 文件提供给 LZ4 压缩 API 的最佳方法是什么?以下对于非常大的文件不是最佳的。
byte[] data = file.getBytes();
将巨大的 CSV 文件提供给 LZ4 压缩 API 的最佳方法是什么?以下对于非常大的文件不是最佳的。
byte[] data = file.getBytes();
你可以试试https://github.com/flanglet/kanzi。块压缩器采用 InputStream 并将其拆分为块(您在命令行中指定大小)。
在 Wiki 中,您可以执行以下操作:
java -cp kanzi.jar kanzi.app.BlockCompressor --input=myFile.csv --output=myFile.knz --overwrite --block=8M --transform=lz --entropy=none