php - 如果有重定向，Google bot 是否会抓取整个网站

Question

我有一个网站在三页浏览后将用户重定向到登录页面。google bot 是否能够查看我的所有页面，或者它也会被重定向。如果是这样，我该如何解决这个问题。

我在关于 googlebot 的问题中找到了这个答案，

if((!$user->uid) || (!strpos($_SERVER['HTTP_USER_AGENT'],"Googlebot"))  ||      (!strpos($_SERVER['HTTP_USER_AGENT'],"MSNBOT")) ){
//  redirect
else{
// don't redirect
}

这行得通吗？

Answer 1

1. 不要为搜索引擎提供不同的内容，然后再为您的用户提供服务。这被称为伪装，是被禁止的好方法。

2. 您应该使用“免费首页”。这是 Experts Exchange 等网站用来让 Google 抓取其受限内容的工具。

Answer 2

Google Bot 被重定向，它会将重定向页面中的内容提取到其数据库中，就像原始 URL 一样。