robots.txt - 机器人文本被屏蔽

Question

header("Content-Type: text/plain; charset=utf-8");
if ($_SERVER['SERVER_PORT'] == 443) {
echo "User-agent: *\n" ;
echo "Disallow: /\n" ;
} else {
echo "User-agent: *\n" ;
echo "Disallow: \n" ;
}

这段代码在 robots.php 中有什么作用？

我在我的服务器上找到了它，它似乎阻止了文本被搜索引擎索引

Answer 1

当您在端口 443（通常为安全连接保留）上读取该页面时，例如https://yoursite.com/robots.php，返回的内容如下：

User-agent: *
Disallow: /

“用户代理：*”表示本节适用于所有机器人。“禁止：/”告诉机器人它不应该访问站点上的任何页面。

否则（robots.php在任何其他端口上访问的页面 - http://yoursite.com/robots.php）返回的内容如下：

User-agent: *
Disallow:

在这种情况下，机器人可以访问网站上的任何页面。

还将header("Content-Type: text/plain; charset=utf-8");页面内容显示为常规纯文本。