directory - robots.txt 不允许 /variable_dir_name/directory

Question

我需要通过 robots.txt 禁止 /variable_dir_name/directory

我用：

禁止：*/directory 无索引：*/directory

那是对的吗？

Answer 1

以下内容应在您的 robots.txt 中起作用：

User-Agent: *
Disallow: /*/directory

来自 Google 的进一步阅读：使用 robots.txt 文件阻止或删除页面

Answer 2

事实上，GoogleBot 有机会在 Robots.txt 中使用这些：

• 无索引
• 不关注
• 爬行延迟

但在GoogleBlog-News上看到，从 2019 年 9 月起，它们将不再支持那些（0,001% 使用）命令。因此，您应该只在页面上使用元标记，以确保将来安全。

你真正应该做的是：

• 通过 robots.txt 禁止和
• Noindex 已通过 Google Search Console 为文档编制索引