robots.txt - 为什么在 javascript 文件上使用 robots.txt？

Question

您是否有任何理由应该或不应该允许访问 javascript 或 css 文件？特别常见的文件，如 jquery。

Answer 1

搜索引擎每天为给定站点分配一定数量的带宽或 URL 数量已被广泛接受。因此，一些网站管理员喜欢从搜索引擎中屏蔽 JS、CSS 和样板图像以节省带宽，以便 Google 或 Bing 抓取更多页面而不是不必要的图像。

Google 员工 Matt Cutts 过去曾要求网站管理员不要这样做 ( http://www.seroundtable.com/googlebot-javascript-css-14930.html )。

Google 似乎想确切地知道您的网站在使用和不使用 javascript 时的行为方式。有大量证据表明他们正在渲染整个页面，以及执行在PageLoad 上执行的其他javascript（例如Facebook 评论）。

如果您甚至阻止常见的 jQuery 文件，Google 真的不知道它是否是常见的 jQuery 实现，或者您是否修改了核心文件，从而修改了体验。

我的建议是确保您的所有 JS、CSS 和样板图像都在单独的域或 CNAME 中提供。我会通过日志和Google Webmaster Tools监控 Googlebot 的抓取，并观察他们是否花费大量时间和带宽来抓取这些资产。如果没有，那就让他们继续爬吧。

由于每个站点的行为不同，您可以尝试并阻止一些占用大量带宽的请求更频繁的文件……然后观察 Google 的“抓取的页面”是否增加。

Answer 2

通常，您不应该（或不需要）禁止访问 robots.txt 中的 JavaScript 和 CSS 文件。

然而，搜索引擎（特别是谷歌）在索引 JavaScript 生成的内容方面越来越好。在大多数情况下，这是一件好事。另一方面，JavaScript 也被用于专门向搜索引擎隐藏内容，因为人们认为搜索引擎不执行 JavaScript。这可能不再是这种情况了。但是，有人建议，通过禁止这些在 robots.txt 中生成内容的特定 JavaScript 文件，您还可以阻止搜索引擎生成和查看隐藏内容 - 如果这是要求的话。

seomofo 在 2010 年 6 月就阻止联盟营销链接提出了这种技术。