0

我有一个网站Flamingone.com。几天前,我在 Google 网站管理员上注册了我的网站。今天我检查了谷歌网站管理员为我的网站准备了什么。谷歌说,

“Googlebot 无法抓取您的网址 (/cgi-bin) (flamingone.com/cgi-bin),因为您的服务器需要身份验证才能访问该页面,或者它阻止 Googlebot 访问您的网站。

但我既没有任何名为 cgi-bin 的文件夹,也没有 robots.txt。它应该触发 404(我的 404.php 页面)。为什么显示访问被拒绝?

4

1 回答 1

0

尝试在您的根文件夹中创建一个 robots.txt,其中包含以下内容:

机器人.txt

User-agent: *
Disallow: /cgi-bin/
于 2014-06-27T04:13:40.023 回答