4

爬虫和ajax应用的关系如何？

网络爬虫或浏览器是否读取动态创建的元标记？

我想过：

  1. 向页面添加锚点
  2. 创建内容的永久链接
  3. 动态添加元标记。

http://code.google.com/web/ajaxcrawling/docs/learn-more.html

4

2 回答 2

8

Google 如何使用 JavaScript 处理 SEO 的 更新： https ://searchengineland.com/tested-googlebot-crawls-javascript-heres-learned-220157在这一点上看起来相当不错，所以我会忽略我在这个阶段写的大部分内容。

最初的文章： 在实际意义上，JavaScript 在 SEO 方面对你没有多大帮助。搜索引擎大多会看到原始文本，就像您看到页面源一样。搜索引擎不会在此页面源上运行 JavaScript，它实际上就像您大部分时间都在查看它一样。一个更有用的方法是解释如何在使用 AJAX 的同时使您的网站 SEO 兼容，而不是依赖于非常有限的对搜索引擎爬取 JavaScript 的支持。如果您知道公式，这非常简单。

如果您甚至应该这样做，首先要了解这一点很重要。对于初学者，如果您的网站主要是基于程序的表单或 HTML5 游戏，那么您无需担心 SEO，只需设置初始元标记并在页面上包含解释其内容的内容。如果您有一个基于内容的网站，或者特别是基于电子商务的网站，情况就不同了，您需要非常小心，首先您的所有内容都是可搜索的，然后添加 AJAX 作为糖衣。

我的背景是创建具有 AJAX 交互性的 SEO 和社交友好型电子商务网站，以提供产品视图和内容。我还创建了许多基于信息的网站，这些网站通过与 SEO 兼容的 AJAX 提供内容。如果您访问我的个人资料，您会看到发生这种情况的几个网站，例如http://www.klim.com/en-us/shop（电子商务示例）和http://www.kitgui.com/docs （纯内容例子）。这些网站在实施方面非常高端，就我所承担的项目规模而言，有些接近 10 万大关。换句话说，客户非常认真，并期望获得巨大的投资回报，因此 SEO 非常重要。

这种方法比谷歌的提议简单易懂。

  1. 在适用的情况下，让您的网站在没有 AJAX 的情况下运行。所提供的任何内容都应通过唯一的 URL 直接链接，该 URL 会导致浏览器发出另一个请求（而不是带有哈希标记的 URL）。第一步只专注于简单的内容服务。
  2. 无论您希望内容服务在何处使用 AJAX，都可以使用 jQuery 并附加一个单击事件来取消当前的单击行为，然后使用 jQuery“加载”方法通过 AJAX 绘制内容并填写页面上的内容区域。确保每次执行此操作时都将 URL 上的哈希设置为相对于根目录的实际 URL，但附加为哈希标记，如下所示：/myoriginalURL#/mynewurl 因此哈希后的内容是您要访问的实际真实 URL .
  3. 注意支持 hashchange 事件，直到 HTML5 历史操作得到更多支持。这将允许您使用历史后退/前进按钮和书签。

如果您想查看详细说明的实际实现，我在 Stack Overflow 上回答了另一篇相关帖子，您可以在此处找到 ->请参阅非常详细的帖子，并解释如何在现实世界场景中执行此操作。

在所有这些关于 SEO 的喋喋不休中，不要忘记这些其他方式让流量涌入您的网站的重要性日益增加：

  1. 打开图表
  2. 语义网
  3. 社交喜欢（Facebook、Twitter、Disqus、AddThis 等）
于 2011-12-20T06:37:53.903 回答
6

Google 是目前唯一为动态创建的内容提供索引支持的搜索引擎。这只有在您遵循他们的可爬取 Ajax 提案时才可以。不遵循他们的建议意味着内容将不会被抓取或编入索引。元标记不属于该提议，但没关系，因为元标记不会影响页面的排名。

仅供参考，通常使用 Ajax 或 JavaScript 来生成所有内容是一个非常糟糕的主意。

于 2011-12-14T19:20:38.883 回答