robots.txt - 防止搜索引擎将脚本 URL 编入索引

Question

如何防止搜索引擎将脚本 URL 编入索引，例如：

domain.tld/?[这里有什么]

机器人.txt

User-agent: *
Disallow: /?

似乎确实有效。

但仍然允许对主页进行索引。

Answer 1

使用 URL 编码的“？” ( %3D)

User-agent: *
Disallow: /%3D

来源：http ://www.robotstxt.org/norobots-rfc.txt