2

ScraperWiki 是否会以某种方式自动限制抓取,或者我应该在循环中添加类似 sleep(1 * random.random()) 的东西?

4

1 回答 1

2

没有自动速率限制。您可以添加以您的语言编写的睡眠命令以添加速率限制。

很少有服务器会检查速率限制,通常包含公共数据的服务器不会。

但是,确保您不会超出远程服务器是一种很好的做法。默认情况下,scraper 仅在一个线程中运行,因此您可以产生的负载存在内置限制。

于 2011-05-01T11:08:23.260 回答