爬慢网站时,老是报错:TCP connection timed out: 10060。我猜这可能是爬虫尝试与服务器建立TCP连接,而默认连接超时太低的时候。
我知道可以在scrapy中设置下载超时,但是我发现没有办法设置连接超时。有人有什么想法吗?谢谢!
爬慢网站时,老是报错:TCP connection timed out: 10060。我猜这可能是爬虫尝试与服务器建立TCP连接,而默认连接超时太低的时候。
我知道可以在scrapy中设置下载超时,但是我发现没有办法设置连接超时。有人有什么想法吗?谢谢!
DOWNLOAD_TIMEOUT 可以在你的scrapy项目的settings.py中设置
http://doc.scrapy.org/en/latest/topics/settings.html#download-timeout