1

寻找与 robots.txt 相关的推荐，我们不想在排除整个网站时出错

下面的命令是否适合排除所有在 url 中编码的反斜杠的 url

 Disallow: /*\

它是否只排除在站点 url 路径中具有反斜杠或 %22 的 url。有一些页面用反斜杠编入索引，并在谷歌网站管理员中作为重复出现。

除了带有反斜杠的 url 之外，上述命令是否不会以任何或任何一种方式阻碍或阻止网站搜索引擎

4

1 回答 1

0

为了更新，我们通过 htaccess 应用 301 重定向而不是通过 robots.txt 阻止来解决它

于 2013-06-25T02:47:03.787 回答