1

我已经在 AWS 上设置了一个负载均衡器,并且“启用了应用程序生成的 Cookie 粘性”(因为您可以登录到网站的某些部分。)

我需要知道 google bot 是否会忽略此 cookie,还是会卡在一台服务器上。

4

1 回答 1

1

从“谷歌友好的网站”:

如果 JavaScript、cookie、会话 ID、框架、DHTML 或 Macromedia Flash 等功能使您无法在文本浏览器中查看整个站点,则蜘蛛可能难以抓取它。

网络上的共识是GoogleBot 不处理 cookie

我也很难理解为什么这样的网络爬虫会想要处理 cookie。

于 2012-07-07T02:42:12.117 回答