wordpress - 修改 Google Webmaster Robots.txt 代码以禁止 url

Question

我在 ahrefs.com 上遇到一些 hreflang 和重定向错误，因为 utm 活动和弹出链接的锚点设置为“#”或“#！”。我想在我的 robots.txt 文件中添加一些代码，以防止谷歌抓取这些网址，从而使这些错误消失。

例如，我想禁止抓取的网址是：

https://mywebsite.com/#
https://mywebsite.com/#！
https://mywebsite.com/about?utm_campaign=something

我试过这段代码，但它不工作：

不允许： /*＃！

禁止：/*utm_campaign

Answer 1

Hash(#) 是 robots.txt 中的注释符号。在 robots.txt 中 # 之后的所有内容都将被忽略

此外，浏览器和爬虫永远不会将 # 之后的 URL 部分发送到服务器，因此禁止它是没有意义的。