0

我有这样的网址：

  • www.wunderwedding.com/weddingvenues/share-weddingvenue/175/beachclub-all-good
  • www.wunderwedding.com/weddingvenues/share-weddingvenue/2567/castle-rock

由于这些网址不再存在，我想禁止 googlebot 通过 robots.txt 访问包含“/share-weddingvenue/”的网址

这会实现这一目标吗？

User-agent: *
Disallow: */share-weddingvenue/*
4

2 回答 2

1

不，可能这行不通。在这里，您将找到一个很好的概述，了解您可以在 a 中执行的操作robots.txt：

另请注意，在 User-agent 或 Disallow 行中不支持通配符和正则表达式。

如果内容消失了，您最好确保返回状态 410错误。

于 2012-06-23T09:25:16.390 回答
1

由于这里只允许很少的正则表达式，代码将是：

Disallow: weddingvenues/share-weddingvenue/

可以在此处找到有关此主题的更多信息：http: //support.google.com/webmasters/bin/answer.py ?hl=en&answer=156449

于 2012-06-23T09:34:02.540 回答