bots - 来自网站的黑名单机器人

Question

我注册了一个 API。它的文档说：“建议您将网站中的机器人列入黑名单，以降低使用成本。”

这是什么意思以及如何做到这一点？

Answer 1

您需要设置一个 robots.txt 文件，该文件提供有关机器人可以做什么和不允许做什么的说明。

请参阅http://www.robotstxt.org/。