我现在使用 Scrapy 通过 http 代理抓取一个站点。我按照http://mahmoud.abdel-fattah.net/2012/04/07/using-scrapy-with-proxies/的说明进行操作。但是当我运行我的蜘蛛时,我得到了以下错误:
错误:下载http://xxx.xxx.xxx时出错:不是 gizpped 文件。
然后我在setting.py的DOWNLOADER_MIDDLEWARES中添加了如下语句:
'scrapy.contrib.downloadermiddleware.httpcompression.HttpCompressionMiddleware':无
在此之后,调试信息表明我正确抓取了网页,但是在处理页面时,出现以下错误:
“响应”对象没有属性“编码”
请给我一些提示如何解决这个问题。提前感谢大家。