我有一个带有产品的 Rails 应用程序,产品可以在以下位置找到:
mydomain.com/thisproduct
如果用户单击指向制造商网站的链接,则可以通过使用具有以下 url 的“链接”功能来完成:
mydomain.com/thisproduct/link
谷歌似乎通过将该页面索引为我的页面但包含制造商网站的内容来非常特别地对此进行索引。所以,我想阻止它在 robots.txt 中被索引。
This is my robots.txt:
# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
# User-Agent: *
# Disallow: /
Disallow: /sokresultat/*
Disallow: */link
最后一行是我的问题所涉及的:
这会阻止所有以链接结尾的网址吗?而且,更重要的是,它会阻止其他任何东西吗?恐怕这会通过该通配符取消我的整个网站的索引。