restriction - 谷歌爬虫时间限制

Question

有谁知道可以设置任何属性以通知 googlebot 在特定日期或时间段（例如仅在周末）来抓取网站？

谢谢，

Answer 1

您可以使用 XML站点地图来提示适当的抓取频率，但这只是一个提示，并且无法请求特定日期。

Answer 2

您可以建议 googlebots 您更喜欢较慢的抓取速度（如果您的网站的抓取速度高于最低速度），但这会在 90 天内生效（请参阅http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=48620）。

更改 robots.txt 可能会出现问题，因为它是由 Google 缓存的，因此禁止抓取可能会导致网站被抓取的时间比预期的要长得多。

Google 有不止一种漫游器类型，因此您可以选择网站的哪些部分适合每个漫游器抓取，按照预期使用 robots.txt。看http://www.google.com/support/webmasters/bin/answer.py?answer=40360。

Answer 3

不这么认为，但是 googlebot 确实经常重新读取您的 robots.txt，所以我想知道如果您在这些时候换成替代的 robots.txt 是否会起作用，例如使用脚本？