3

我正在使用 scrapy 框架进行抓取,我想知道是否有办法使用 memcached 作为 http 缓存的存储后端(HTTPCACHE_STORAGE 选项)。包装盒中提供的存储是基于文件和 dbm 的,这不适合我的情况。有没有可能使用 memcached?

4

1 回答 1

2

是的,目前只有两个内置的 http 缓存存储后端可用(文档):

还实现了一个mongodb 缓存存储

如果我是你,我会自己实现 memcached 缓存存储。应该很简单——它只是一个包含多个契约方法所需的类(例如,参见dbm storage classmongodb storage class)。

希望有帮助。

于 2013-06-02T21:38:53.983 回答