robots.txt - 为什么当我从 http 重定向到 https 时 robots.txt 不起作用

Question

今天我在谷歌中遇到了搜索问题。当我在谷歌中输入“trakopolis”时，会显示我的页面（因此它被谷歌机器人索引），但页面的描述不可用。在我的网站上进行描述非常重要。

该网站是：

https://trakopolis.com

robots txt 文件是，所以我允许一切：

User-agent: *
Allow: /

但如您所见，描述不可用。我很困惑:(对不起，如果问题很愚蠢。

正如我从谷歌网站管理员工具中看到的那样。谷歌使用这个 robots.txt 文件，所以可能是从 http 重定向到 https 的问题？该网站不允许使用 http，我们使用 https。在主页上，我使用重定向到 Login.aspx 页面，以防用户未通过身份验证。

score 0 · Accepted Answer

Google 在搜索“ trakopolis ”时显示描述：

您的 robots.txt 似乎前段时间不允许抓取您的网站，因为其他一些搜索引擎仍然显示它们不允许显示您的描述，例如 DuckDuckGo。

请注意，您的 robots.txt 使用Allow，这不是原始 robots.txt 规范的一部分（但许多解析器无论如何都理解它）。它相当于：

User-agent: *
Disallow:

（但是因为解析器必须忽略未知字段，所以使用 . 应该没有问题Allow。空的或不存在的 robots.txt 总是允许抓取所有内容。）

1 回答 1