0

例如,如果我想在我的页面上禁止以下路径: http ://www.examplepage.com/en/testing

但不仅是 /en/ 版本,还有 /da/、/de/ 等(你明白我的意思)。

我将如何以最聪明的方式做到这一点?无需为每种语言的相同页面写禁止。

我试过: Disallow: /*/testing 和 Disallow: /*testing

但我发现它也不允许其他页面,如: http ://www.examplepage.com/en/news-page/testing等。

它应该只禁止我在帖子开头指定的路径。

4

1 回答 1

0

在 robots.txt 中使用占位符/RegExp 非常有限且不可靠。有关详细信息,请参阅此问题:robots.txt 的正则表达式

单独列出所有语言或编写一个输出包含所有规则的列表的脚本可能是最好的解决方案。

于 2014-10-23T07:17:16.350 回答