3

我正在研究在将它们插入数据库 blob 字段之前在 Ruby 中压缩一些非常大的字符串（文本字段）。压缩本身很容易，我可以使用 Zlib。

但是，我也在研究可能有类似字符串副本的情况。例如。我可能已经在数据库中存储了一些东西 - stringA。修改给了我stringB。我想存储 stringA 和 stringB 之间差异的压缩版本，这样如果我有 stringA 和压缩的差异，我可以取回 stringB。

有合适的图书馆吗？

理想情况下，这将是单步二进制差异压缩。我真的不想要人类可读的文本差异（这可能会浪费更多空间）。它只需要机器可读。因此，请不要建议我使用diff -u oldFile newFile > mods.diffand进行压缩patch < mods.diff。

回答

编辑：感谢Mark Adler提供部分答案（不知道有什么set_dictionary方法）。我想在 Ruby 中执行此操作，因此相关的方法名称是set_dictionary. 然而，试图完成这件事比没有字典要困难得多。

不使用字典，我们可以这样做：

A = "My super string to be compressed. Compress me now to " \
    "save the space used to store this super string."
cA = Zlib::Deflate.deflate(A)
# => "x\234U\214\301\r\200 \020\004[\331\nh\302\267E n\224\a\034\271;4v..."

Zlib::Inflate.inflate(cA)
# => "My super string to be compressed. Compress me now to save the..."

但是要使用字典，您需要确保传递Zlib::FINISH给 deflate 以刷新输出，并Zlib::NeedDict在充气时添加字典之前允许异常：

B = "A super string with differences, let's see how much " \
    "extra space the differences will take in this super string!"
zlib_deflate = Zlib::Deflate.new
zlib_deflate .set_dictionary(A)
dB = zlib_deflate .deflate(B, Zlib::FINISH)
# => "x\2733\324$\230sD\265\242<\263$C!%3--\265(5/9\265XG!'\265D\035\250..."

zlib_inflate = Zlib::Inflate.new
zlib_inflate.inflate(dB) # Exception thrown
# => Exception: Zlib::NeedDict: need dictionary
zlib_inflate.set_dictionary(A)
zlib_inflate.inflate(dB)
# => "A super string with differences, let's see how much extra space the..."
4

1 回答 1

3

你也可以用zlib做到这一点。压缩 stringB 时，使用该deflateSetDictionary()函数提供 stringA 作为字典。另一方面，在解压 stringB 时已经有了 stringA，所以inflateSetDictonary()在解压 stringB 之前与 stringA 一起使用。

然后 zlib 将找到与 stringA 匹配的部分 stringB 并指向 stringA 中的那些部分。

在压缩 stringC 时，您可以通过将 stringA 和 stringB 连接为字典来做得更好。等等。字典最多可达 32K 字节。

于 2012-09-03T18:25:13.580 回答