我有这个结构的链接:
- http://www.example.com/tags/等等
- http://www.example.com/tags/blubb _
- http://www.example.com/tags/ blah / blubb(适用于与两个标签匹配的所有项目)
我希望 google & co 蜘蛛所有在 URL 中有一个标签的链接,但不是有两个或多个标签的 URL。
目前我使用html元标记“robots”->“noindex,nofollow”来解决这个问题。
是否有 robots.txt 解决方案(至少适用于某些搜索机器人)或者我是否需要继续使用“noindex,nofollow”并忍受额外的流量?