sharepoint - Sharepoint 2013 站点返回 304 未修改

Question

google bot 无法抓取 sharepoint 2013 网站之一。谷歌表示，他无法访问 Robots.txt。当我从 chrome 开发人员工具中查看时，似乎服务器返回 304 代码。

我怎么解决这个问题？

编辑：当我调用没有 "www."(xxxxx.com/robots.txt) 的 url 时，服务器返回 200 ok。

用户代理： *

Allow: /

Disallow: /_layouts/
Disallow: /_vti_bin/
Disallow: /_catalogs/


Sitemap: http://www.xxxxxxx.com:80/sitemap.xml

Answer 1

解决了：

需要在防火墙上授予对爬虫服务的访问权限。

谢谢。

Answer 2

尝试这个：

User-agent: *
Allow: /
Disallow: /_layouts/
Disallow: /_vti_bin/
Disallow: /_catalogs/
Sitemap: sitemap.xml