1

我不知道搜索引擎机器人是如何工作的，我浏览器记录上的机器人数据库条目是例如 Googlebot、msnbot、BingBot 等。

所以我不知道他们是否启用了javascript或任何东西。

为什么我想知道他们是否启用了 javascript？因为我想在我的网站上要求 Javascript。我所做的是，我有一个“覆盖”div，其中包含一条短消息，我在页面加载时使用 javascript 设置为“display:none”。因此，如果没有 Javascript，则覆盖不会消失，并且网站中的任何内容都不可点击或任何内容。

那么即使我做了 Javascript 要求，机器人仍然可以抓取我的网站吗？因为我希望谷歌和其他优秀的机器人能够抓取我的网站。

4

3 回答 3

3

是的，自 2010 年以来，至少 googlebot 以理解不是在（某些）javascript 中创建的直接链接而闻名，但它们不需要您的 javascript 来读取链接，因为这些链接在 html 中是显而易见的。关闭 javascript 浏览的人也是如此。

于 2013-05-07T08:59:30.567 回答
1

搜索机器人可以并且将会抓取您的网站，但它们不理解 JavaScript，因此它们会忽略任何 JS。但是，他们在抓取您描述的页面时应该没有问题。

于 2013-05-07T08:52:41.393 回答
0

据我所知，搜索引擎可以解析识别不同内容和行为的内容。他们还可以惩罚特定的隐藏内容。我怀疑谷歌是一个非常聪明的搜索引擎，能够识别一些 javascript，但我们不知道他们系统的内部行为。

于 2013-05-07T08:56:51.040 回答