我想知道谷歌什么时候抓取这个网站，最好是给自己发一封电子邮件。
有什么方法可以做到这一点不会对性能产生不利影响？
问问题
465 次
2 回答
2
您的 IIS 日志文件（usu. in c:\windows\system32\logfiles...）会在蜘蛛爬取您的站点时向您显示。只要确保您已启用日志记录并记录浏览器/用户代理即可。浏览器代理是一个字符串，其中包含 Web 浏览器/机器人/请求页面的任何内容的名称。大多数条目在视觉检查中都很明显（例如，googlebot 包含字符串“googlebot”）。
如果您想收到通知，我将有一个每十五或二十分钟运行一次的任务，扫描您自上次扫描以来的日志条目，并就模式匹配向您发送电子邮件，正如之前的受访者所建议的那样。
于 2009-08-25T15:24:01.953 回答
1
用户代理将自己标识为 gsa-crawler/Googlebot，具体取决于 Google 设备还是 Google。您可以编写一些代码 ( Request.ServerVariables("HTTP_USER_AGENT")) 来监视或分析 IIS 日志文件。
您可能想要验证该机器人是否真的是 Google - 这是需要注意的事情。
如果您需要尽快发送电子邮件，我会选择 Web 应用程序根目录，如果您可以等待更长时间，我会选择文件分析根目录。
于 2009-08-25T15:23:56.087 回答