javascript - Googlebot 将字符串索引为 Javascript 中的 URL

Question

在我的网站上，我有 Javascript 代码：

$(function() {
    $("#ratingComment").webwidget_rating_simple({
        rating_star_length: '5',
        rating_initial_value: '',
        rating_function_name: '',
        directory: '/images/raty'
    });
});

Googlebot 将其编入索引并尝试转到 URL '/images/raty'。但是这个 URL 当然不存在。

我可以禁用这样的 URL 索引吗？由于这个问题，我在 Google 网站管理员中收到了数千个错误。

Answer 1

如果您想阻止 Googlebot 或其他搜索爬虫访问目录或向目录发出请求，您可以随时在 robots.txt 文件中添加一个条目。

在这种情况下，我可能会限制所有用户代理：

User-Agent: *
Disallow: /images/raty

这将阻止任何尊重 robots.txt 的爬虫访问与路径匹配的任何内容/images/raty。请注意，它不仅仅是那个特定的路径，它还会包含与该字符串匹配的所有 URL。

您可能需要查看Google 的 Robots.txt 支持页面以获取更多信息。