search-engine - 在 robots.txt 中，Disallow: /?s 会阻止什么？

Question

当搜索引擎爬取网站时，这条线会阻止什么？

不允许：/?s

Answer 1

s它将阻止机器人抓取它们在查询字符串中偶然发现的任何 URL（在根目录 (?) 中） 。