google-app-engine - Google Gae：无法访问的 robots.txt

Question

我已经在我的网址中上传了 robots.txt http://watchmariyaanmovieonline.appspot.com/robots.txt，但是当我使用 google 网站管理员并为我的主页做 Fetch as google 时，我http://watchmariyaanmovieonline.appspot.com/收到错误Unreachable robots.txt

Answer 1

您的robots.txt内容有一个空Disallow的，因此您会收到该错误。

 User-agent: * 
 Disallow:  
 Disallow: /cgi-bin/ 
 Sitemap: http://watchmariyaanmovieonline.appspot.com/sitemap.xml

将其更新为：

User-agent: *
Disallow: /cgi-bin/
Sitemap: http://watchmariyaanmovieonline.appspot.com/sitemap.xml

它应该工作得很好，让我知道这是否有帮助:)