我的问题：
我的客户网站显示更多产品并增加了更多页面加载/重量。所以我决定使用 ajax 加载更多产品并且效果很好。但在这里它会影响 seo - 并且没有产品或交易被编入索引（即使我建议客户通过 googlebase 提交产品，但客户不喜欢这个想法，他希望谷歌直接爬入网站，也希望减少页面加载时间）。
问题： 我们能否识别googlebot对服务器的抓取请求或mozila之类的浏览器用户代理对站点（服务器）的请求。
我有的建议
我试图从请求中识别用户代理，但它不起作用（或者我可能会遗漏一些东西？）请任何人有正确的解决方案来解决这个问题，以减少使用 ajax 的页面加载时间并让 googlebot 也抓取网站。
您应该只在 stackoverflow 中搜索"Google AJAX SEO"。围绕这一点有很多问题。
简而言之，谷歌有一个使 AJAX 网站可抓取的规范：https ://developers.google.com/webmasters/ajax-crawling/docs/getting-started?hl=sv-SE
您也可以将PushState 视为 SEO 选项。
用于解决此问题的一种策略是利用您正在使用的任何框架或 CMS 的分页功能。您加载一页内容并在视图中显示分页链接，然后使用 JavaScript 隐藏分页链接并通过 Ajax 获取链接的分页页面的内容并将其附加到当前页面。看看无限滚动是如何获得灵感的：
http://www.infinite-scroll.com/
基本上，您至少需要加载指向包含其他内容的页面的链接，以便搜索引擎可以抓取内容，但您可以为启用了 JavaScript 的用户隐藏这些链接。
但为了更好地回答您的问题，可以使用 htaccess 重定向机器人： redirect all bots using htaccess apache
但据我所知，在页面上实际提供内容或指向它的链接是更好的 SEO。