我看到的大多数问题都是试图隐藏该网站，使其不被搜索引擎索引。对于我自己，我正在尝试相反的方法。
对于 robots.txt 文件，我添加了以下内容：
# robots.txt
User-agent: *
Allow: /
# End robots.txt file
对我来说，这意味着允许搜索引擎搜索目录。但是，当我对其进行测试时，它仍将网站显示为“由于此站点的 robots.txt，此结果的描述不可用”，但是当我单击该链接时，它会显示上述代码。
我猜这是因为谷歌和必应需要一段时间才能赶上？还是我做错了什么？
如果是因为他们还没有赶上所做的更改（这些更改是昨天下午进行的），那么有没有人粗略估计何时会反映这些更改？
是的，搜索引擎抓取您的页面需要一些时间。你的 robots.txt 再次。不可能有认真的估计，因为它取决于太多的因素。一些搜索引擎在其网站管理员工具中提供重新抓取特定页面的服务，但不能保证很快就会发生这种情况。
请注意，您的 robots.txt 相当于：
# robots.txt
User-agent: *
Disallow:
# End robots.txt file
（许多解析器知道/理解Allow，但它不是原始 robots.txt 规范的一部分。）
而且这个 robots.txt 相当于根本没有 robots.txt（或一个空的 robots.txt），因为Disallow:（= 允许所有URL）是默认设置。