我开发了一个简单的scrapy项目来抓取一个网站。爬虫在我的本地机器上运行良好，但是当我尝试将它部署到由 scrapinghub.com 提供的 Scrapy 云时，蜘蛛显示爬取了 0 个页面，并在 180 秒（默认超时）后停止。它可能有什么问题？我可以尝试增加超时，但我认为是 180 秒。是爬虫从网站获得响应的足够长的时间。
我开发了一个简单的scrapy项目来抓取一个网站。爬虫在我的本地机器上运行良好，但是当我尝试将它部署到由 scrapinghub.com 提供的 Scrapy 云时，蜘蛛显示爬取了 0 个页面，并在 180 秒（默认超时）后停止。它可能有什么问题？我可以尝试增加超时，但我认为是 180 秒。是爬虫从网站获得响应的足够长的时间。