c# - 年龄验证页面阻止网站 - 需要允许谷歌吗？

Question

我在 .net 中为一家酒类公司创建了一个网络应用程序。

客户要求拒绝对网站的所有访问，除非用户同意他们在所在县已达到年龄并且同意条款。

为了实现这个功能，我只需将所有流量重定向到一个验证页面，他们可以在其中设置一个新会话来表示他们已经同意（在这次访问中）这些条款。设置会话后，该站点将完全可访问。

我的问题是，我希望 google et al 抓取网站上的所有页面并将其编入索引。如何确保机器人不会在年龄验证页面中被捕获，这里确保我的整个网站被抓取的最佳做法是什么。

score 6 · Accepted Answer

.NET Framework 的 HttpWebRequest 负责大部分工作。在Page_Load您的代码隐藏文件中，您可以轻松检查爬虫：

if(Request.Browser.Crawler)

如果它是一个爬虫（例如 GoogleBot）手动绕过年龄验证

1 回答 1