5

爬慢网站时,老是报错:TCP connection timed out: 10060。我猜这可能是爬虫尝试与服务器建立TCP连接,而默认连接超时太低的时候。

我知道可以在scrapy中设置下载超时,但是我发现没有办法设置连接超时。有人有什么想法吗?谢谢!

4

1 回答 1

6

DOWNLOAD_TIMEOUT 可以在你的scrapy项目的settings.py中设置

http://doc.scrapy.org/en/latest/topics/settings.html#download-timeout

于 2013-06-14T08:14:41.030 回答