我有一个启用表单身份验证的 ASP.Net 3.5 网站。是否可以让 Googlebot 在不提示输入用户名/密码的情况下抓取我的网站？
问问题
498 次
2 回答
3
谷歌声称不会索引页面并将它们显示在可用的用户上，因为实际上他们要求用户名和密码。
它可以提供仅通过 AdSense 抓取保护页面的选项，这样他就可以知道要在其上显示什么广告
https://www.google.com/adsense/support/bin/answer.py?answer=37081
检查是否是 bot 或来自 google bot 计算机的其他解决方案并不安全，因为它们很容易被用户欺骗，并且也可能无法显示页面的预览或缓存。
所以你需要考虑你的网站结构，什么是非常重要的，什么不是，显示页面的某些部分，如果用户没有注册，隐藏一些其他的，这样谷歌即使没有登录也有一些东西可以索引.
于 2011-06-28T14:08:23.587 回答
0
这是一篇文章：
http://www.guruofsearch.com/google-access-password-protected-site
看看谷歌站点地图是否会导致页面出现在谷歌中会很有趣——但我怀疑这也行得通，因为这些页面可能无论如何都需要被抓取。
还有一些其他有趣的评论：
于 2011-06-28T14:08:05.910 回答