python - memcached 中的 Scrapy http 缓存存储

Question

我正在使用 scrapy 框架进行抓取，我想知道是否有办法使用 memcached 作为 http 缓存的存储后端（HTTPCACHE_STORAGE 选项）。包装盒中提供的存储是基于文件和 dbm 的，这不适合我的情况。有没有可能使用 memcached？

Answer 1

是的，目前只有两个内置的 http 缓存存储后端可用（文档）：

• DBM 存储后端
• 文件系统存储后端

还实现了一个mongodb 缓存存储。

如果我是你，我会自己实现 memcached 缓存存储。应该很简单——它只是一个包含多个契约方法所需的类（例如，参见dbm storage class或mongodb storage class）。

希望有帮助。