1

我有一个带有产品的 Rails 应用程序,产品可以在以下位置找到:

mydomain.com/thisproduct

如果用户单击指向制造商网站的链接,则可以通过使用具有以下 url 的“链接”功能来完成:

mydomain.com/thisproduct/link

谷歌似乎通过将该页面索引为我的页面但包含制造商网站的内容来非常特别地对此进行索引。所以,我想阻止它在 robots.txt 中被索引。

This is my robots.txt:

# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
# User-Agent: *
# Disallow: /
Disallow: /sokresultat/*
Disallow: */link

最后一行是我的问题所涉及的:

这会阻止所有以链接结尾的网址吗?而且,更重要的是,它会阻止其他任何东西吗?恐怕这会通过该通配符取消我的整个网站的索引。

4

1 回答 1

2

经过一些额外的研究,似乎搜索引擎之间支持通配符的方式不同。这适用于谷歌,可以在谷歌网站管理员工具中验证。

于 2013-04-16T06:50:41.900 回答