1

我们有一个应用程序，我们使用 python 在 memcached 中存储大量数据。我们在 python 中使用 pylibmc，在 php 端，我们使用 php-memcached 库。作为总结

  • pylibmc v.1.2.3
  • php-memcached v.2.0.1
  • libmemcached v1.0.8。

除了压缩发挥作用外，其他一切都很好。这就是python中数据压缩的方式

import pylibmc

mem = pylibmc.Client(['10.90.15.104:11211'], binary=True)
mem.set('foo','this is a rather long string. this is a rather '+
'long string. this is a rather long string. this is a rather' + 
'long string. this is a rather long string', 0, 10)

检查 telnet 我们看到一些乱码值，这意味着它被压缩了。现在在 php.ini 中阅读它。

$memd = new Memcached();
$memd->addServer('10.90.15.104', 11211);
echo $memd->get('foo');

当上面运行时，我们得到相同的乱码值，这意味着它没有被解压缩。pylibmc 使用的是 zlib，因此我也将 php 的压缩类型更改为 zlib。还需要做哪些设置？请帮忙。

为了进一步参考，这里是在 python pylibmc 中设置字符串后 memcached 的输出

get foo
VALUE foo 8 40
x+��,V�D��Ē��"����t�⒢̼t=���g\5#
END

这是使用 PHP 的 memcached 客户端存储的字符串的 memcached 输出：

get foo
VALUE foo 48 44
�x�+��,V�D��Ē��"����t�⒢̼t=���g\5#
END

如您所见，这其中有些可疑之处。pylibmc 中的压缩大小为 40 字节，使用 php-memcached 压缩的相同数据为 44 字节。另请注意，使用 pylibmc 存储时标志为 8，使用 php-memcached 存储时标志为 48！

4

2 回答 2

3

我认为您观察到的原因是 memcache 本身没有实现压缩，因此每个库都以自己的方式进行压缩，只需比较用于指示压缩正在使用的标志

由pylibmc定义

#define PYLIBMC_FLAG_ZLIB (1 << 3) （所以这是标志 == 8）

并通过php-memcached

#define MEMC_VAL_COMPRESSED (1<<4)

#define MEMC_VAL_COMPRESSION_ZLIB (1<<5)

#define MEMC_VAL_COMPRESSION_FASTLZ (1<<6)

所以我认为除非您愿意修改其中一个库以使其标志与另一个一致，否则没有出路

编辑： 好的，这是一个小补丁，它为 pylibmc 和 php-memcached 同步压缩支持。请参阅我的 pylibmc 的 github 分支。

Big fat warring - 它只适用于字符串，所以如果你想存储对象，你必须自己进行反序列化（JSON）。

于 2012-12-17T15:41:48.770 回答
1

拉伯，

正如你所说，我做了改变

  1. 将 php 压缩方法从 FASTLZ 更改为 ZLIB

  2. 在 _pylibmcmodule.h 文件中将 pyLibmc 标志更改为 1 << 5 并重新安装 pylibmc

    #define PYLIBMC_FLAG_ZLIB (1 << 5)

这些是正确的变化吗？还需要做些什么吗？因为它不起作用，所以出现以下错误

Warning: Memcached::get(): unknown payload type in uaTestMemcached.php on line 5

bool(false)
于 2012-12-19T08:20:51.660 回答