twitter - “不允许：/*”是什么意思？在 Twitter robots.txt 中是什么意思？

Question

这是除 Google 和 co 之外的所有其他机器人的部分。

# Every bot that might possibly read and respect this file.
User-agent: *
Allow: /search
Disallow: /search/users
Disallow: /search/*/grid

Disallow: /*?
Disallow: /*/with_friends
Disallow: /oauth
Disallow: /1/oauth

是否“不允许：/*？” 禁止所有 URL，在这种情况下，下面的规则是多余的，或者它只禁止包含问号的 URL？

更一般地说，我很想知道是否允许我进入一个人的个人资料页面并自动跟随指向他们个人网站的链接。中间没有刮，只要按照链接。

谢谢，

拉兹

Answer 1

robots.txt 规范只允许*作为通配符，因此/*?不允许所有以空查询字符串结尾的 url。因为?不是通配符，/*?所以不会禁止所有 url，只允许那些以?.