robots.txt - robots.txt：禁止机器人访问给定的“网址深度”

Question

我有这个结构的链接：

• http://www.example.com/tags/等等
• http://www.example.com/tags/blubb _
• http://www.example.com/tags/ blah / blubb（适用于与两个标签匹配的所有项目）

我希望 google & co 蜘蛛所有在 URL 中有一个标签的链接，但不是有两个或多个标签的 URL。

目前我使用html元标记“robots”->“noindex，nofollow”来解决这个问题。

是否有 robots.txt 解决方案（至少适用于某些搜索机器人）或者我是否需要继续使用“noindex，nofollow”并忍受额外的流量？

Answer 1

我不认为你可以使用 robots.txt 来做到这一点。 该标准非常狭窄（没有通配符，必须在顶层等）。

根据服务器中的用户代理禁止它们怎么样？