我正在使用 scrapy 框架进行抓取,我想知道是否有办法使用 memcached 作为 http 缓存的存储后端(HTTPCACHE_STORAGE 选项)。包装盒中提供的存储是基于文件和 dbm 的,这不适合我的情况。有没有可能使用 memcached?
问问题
1275 次
1 回答
2
是的,目前只有两个内置的 http 缓存存储后端可用(文档):
还实现了一个mongodb 缓存存储。
如果我是你,我会自己实现 memcached 缓存存储。应该很简单——它只是一个包含多个契约方法所需的类(例如,参见dbm storage class或mongodb storage class)。
希望有帮助。
于 2013-06-02T21:38:53.983 回答