c# - 在 C# 中添加延迟的最佳方法

Question

我目前正在构建一个网络爬虫，并希望根据请求添加延迟，这样我就不会对网络服务器造成太大影响。

添加此延迟的最合适方法是什么？

此外，对于爬虫来说，适当的延迟量是多少？我在想 0.5-1 秒。

谢谢

Answer 1

您可以使用

Thread.Sleep(TimeSpan.FromSeconds(1))

搜索引擎可能会使用 10-15 甚至 60 秒的更大延迟。礼貌的爬虫尊重网站在 robots.txt 中提供的“爬取延迟”。有关详细信息，请查看http://en.wikipedia.org/wiki/Web_crawler#Politeness_policy