amazon-s3 - 如何确保网络爬虫适用于托管在 AWS S3 上并使用 AJAX 的站点

Question

谷歌站长指南解释说，网络服务器应该处理包含 _escaped_fragment_ 的 url 请求（爬虫将 www.example.com/ajax.html#!mystate 修改为 www.example.com/ajax.html?_escaped_fragment_=mystate）

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=174992

我的站点位于 AWS S3 上，我没有 Web 服务器来处理此类请求。如何确保爬虫获取提要并且我的网站获取索引？

Answer 1

S3 托管站点是静态 html。没有 POST 处理，没有 PHP 渲染，什么都没有……那么，您为什么关心 Google 索引 AJAX 网站？

对于静态网站，只需将格式正确的 robots.txt 和 sitemap.xml 文件上传到您的根路径。