我有一个带有 Web 界面的项目，我应该每周（每月）从那里下载3000到url。20000我使用工单系统来显示进度：下载了什么、等待下载的内容、哪些 url 有超时错误和类似问题。现在我正在使用ScrapyD它，但打算切换到ScrapyRT. 因为它看起来更容易运行单个 URL 并在它之后获得结果 - 更新票证状态。我的问题是可以收到多少个独立请求ScrapyRT？我尝试了接近 50-100 个请求来抓取异步，而服务器只是停止工作。
还是存在其他方式如何做到这一点？Scrapy 集群或 Frontera 不适合我