问题标签 [googlebot]

在网站上，有许多页面带有供用户发表评论的组件。为了减少页面加载时间，并且由于很少有用户使用评论系统，评论组件在页面加载后通过 AJAX 加载。问题：我们如何让 Google 在页面加载时索引通过 AJAX 加载的动态内容？

AJAX 和 SEO 上的许多其他页面建议让 Google 将内容索引为单独的页面。这不是一个有效的解决方案——我们不希望一个项目的评论是一个独特的页面。

我们正在考虑的解决方案：

创建页面的两个版本（一个静态，一个动态）：

• www.example.com/page/comments_on（静态加载评论）
• www.example.com/page（通过 AJAX 加载页面后加载评论）

然后，将 www.example.com/page/comments_on 的规范 URL 设置为 www.example.com/page。我们会将这两个 URL 都放在我们的 sitemap.xml 中。

这行得通吗？这种方法有什么缺点？还有什么其他方法可以处理这种情况？

我刚刚在一些链接中添加了 rel="nofollow"。

有人知道将“nofollow”添加到链接后谷歌停止关注需要多长时间？我在一小时前添加，仍然看到他们爬取“nofollow”链接。

我想使用托管在Heroku上的Watir生成 HTML 快照。

Google's Full Specification for Making AJAX Applications Crawlable建议使用HTMLUnit ...请参阅如何创建 HTML 快照？第 3 点。

HtmlUnit 是一个纯 Java 的无头浏览器模拟器；不幸的是，jRuby 不是 Heroku 的一个选项。所以 HtmlUnit 被排除在外（据我所知）。

如果您有兴趣，我还有另一个关于 HtmlUnit 作为托管在 Google App Engine 上的服务的问题... 使 AJAX 应用程序可抓取？如何在 Google App Engine 上构建一个简单的 Web 服务来生成 HTML 快照？...仍在等待经过验证的示例/答案。

我有以下代码作为我的多语言网站的 index.php。每种可用语言都有一个子目录。

?>

问题是，尽管在用户浏览器中这可以完美运行，但使用搜索引擎（如 Googlebot）会引发以下错误：

我尝试过错误处理，但我不是 PHP 程序员，我是 CF 程序员，所以我真的需要一些帮助！

我的评分系统允许匿名用户添加评分，但 Google 的爬虫正在评分。

如何确保 Googlebot 不会跟踪该链接？

我有一个页面，它有一个使用这个 ajaxForm jQuery 插件的表单。表单提交，完成后，调用 $.get() 将一些新内容加载到页面。

我的问题是，Googlebot“似乎”正在索引 $.get() 方法中的 url。

我的第一个问题是，这可能吗？我的印象是 Googlebot 在大多数情况下都没有评估 javascript（我读到了一些关于它能够使用 !# 为 url 上的内容编制索引的内容）。

我的第二个问题是，如果 Google 将这个调用编入索引到那个 url，有没有办法阻止它？

提前致谢。

Googlebot 不断尝试在我的网站上调用 ajax 方法。例如：default.aspx/GetStuffWithAjax

问题是谷歌应该不可能调用这个方法，因为我在调用它之前使用 javascript 检查查询字符串是否有 id=xxxx。谷歌可以遵循此查询字符串的任何地方都没有链接。

机器人是否有可能在我的 html 代码中扫描 PageMethods.GetStuffWithAjax，然后尝试调用 ajax 方法？我怎么能防止这种情况..有人吗？

我对 Google AdSense 机器人的算法和网站行为很感兴趣。我没有使用 AdSense，也没有帐户。所以我需要你的帮助来理解：

1) Gbot 不时从网站下载所有页面。我对吗？

2) Gbot 不理解动态内容（由 ajax 加载）。所以我必须生成静态内容并在 html 页面中返回它，这个页面必须为所有用户和 Gbot 显示相同的内容？

3）由于（1）和（2）我不能只使用带有一些“主”小部件的根路径http://example.com 。我必须生成独特的页面，例如http://example.com/thread?id=101？

4) Gbot 下载页面 (1) 以从中获取（索引）关键字，然后存储（在其服务器上）这些信息，例如通过键/值（其中键是页面路径，值是标签云）。我对吗？

5) 当用户在浏览器中打开网站时。集成 html AdSense 的代码会加载一些 JavaScript。正如我通过“谷歌搜索”了解的那样，这个 JavaScript 不会索引页面，而是调用（带有一些参数 key==page_path）到 Google 的服务器并获取适当的广告链接。然后在其框架中显示此广告链接。是正确的行为吗？也许 JavaScript 会对页面内容进行一些本地索引？

6) Gbot 和 AdSense 的 JavaScript 如何使用 cookie？据我了解，AdSense 可以使用 cookie 来显示适当的广告链接。如果是对的，请给我一些用例；）

我知道“真正的”算法只有 Google 的工程师知道。但是你们中的一些人有使用 AdSense 和 AdSense html/javascript 的经验。请纠正我对它的看法；）

非常感谢您的任何建议！！！

PS这个问题对我来说很重要。这不是一个有趣的问题！所以请不要关闭它;）

在我的网站http://www.mustseeindia.com/places-around-bangalore "" 是有效的 URL。

爬网时，MSN bot 会在其上附加一个字符串，从而导致爬网错误。

MSN 机器人附加的字符串- “&layout=button_count&show_faces=false&width=80;&action=like&font&colorscheme=light&height=25”

MSN 机器人生成的 URL 错误- http://www.mustseeindia.com/places-around-bangalore&layout=button_count&show_faces=false&width=80;&action=like&font&colorscheme=light&height=25

这会阻止我网站上的 1000 个页面被 MSN 抓取，我该如何处理？

我很难确定我们的 Asp.net 网站没有在搜索引擎中被索引的原因 - 整个网站。当我使用谷歌的“Fetch As Googlebot”工具时，它会抛出以下错误。我确保我的网站在禁用会话的情况下工作（即在 web.config 中设置 sessionMode="Off"），我在网上搜索了所有内容，但仍然没有运气。

这是我从 googlebot 得到的错误：