0

我目前正在构建一个网络爬虫，并希望根据请求添加延迟，这样我就不会对网络服务器造成太大影响。

添加此延迟的最合适方法是什么？

此外，对于爬虫来说，适当的延迟量是多少？我在想 0.5-1 秒。

谢谢

4

1 回答 1

7

您可以使用

Thread.Sleep(TimeSpan.FromSeconds(1))

搜索引擎可能会使用 10-15 甚至 60 秒的更大延迟。礼貌的爬虫尊重网站在 robots.txt 中提供的“爬取延迟”。有关详细信息，请查看http://en.wikipedia.org/wiki/Web_crawler#Politeness_policy

于 2013-03-27T16:35:47.040 回答