我正在制作一个网站，上面有很多用户创建的内容。每个用户贡献都可以通过 url 访问，例如： http: //example.com/3234 http://example.com/6455
我计划使用 Google 的站点地图爬虫，以便可以将这些页面编入索引。我会每天生成 sitemap.xml 文件。
问题是页面的内容是在浏览器检索页面后使用 jquery 和 ajax 动态生成的。所以谷歌可能不会在列出的 url 上看到页面中的任何实际内容。
我在这里读到了这个问题： https ://developers.google.com/webmasters/ajax-crawling/docs/html-snapshot 它建议制作一个html快照。所以我有几个选择。各自的优缺点是什么？还是有更好的选择？
选项 1 添加指向 sitemap.xml 的链接，例如http://example.com/content.php?id=3234 这会将页面的内容以 html 格式输出到 google。但是当浏览器转到此页面时，（客户端）重定向会将它们带到http://example.com/3234
选项 2 在服务器上。尝试检测页面是否正在被爬虫访问并确定返回什么。
选项 3 尝试仅将实际内容加载到服务器上的元素中。（需要大量重新设计）