javascript - 如何使我的 AJAX 内容可被 Google 抓取？

Question

我一直在开发一个大量使用 jQuery 并通过 AJAX 加载内容的网站，如下所示：

$('#newPageWrapper').load(newPath + ' .pageWrapper', function() {
    //on load logic
}

现在我注意到 Google 不会通过 Javascript 为任何动态加载的内容编制索引，因此我一直在寻找解决该问题的方法。

我已经阅读了 Google 的Making AJAX Applications Crawlable文档似乎 100 次，但我仍然不明白如何实现它（主要是由于我对服务器的了解有限）。

所以我的第一个问题是：

• 是否有一个体面的分步教程，从头到尾记录您所知道的？我试过用谷歌搜索它，但没有发现任何有用的东西。

其次，如果还没有任何东西，任何人都可以解释：

1. 如何“设置我的服务器以处理对包含 _escaped_fragment_ 的 URL 的请求”

2. 如何在我的服务器上实现HtmlUnit以创建页面的“HTML 快照”以显示给爬虫。

如果有人能为我阐明这一点，我将不胜感激，在此先感谢！

-本

Answer 1

我找不到替代方案，所以我接受了 epascarello 的建议，现在如果 URL 包含“_escaped_fragment_”，我将使用 php 生成内容（如果爬虫访问，URL 将包含该内容）

对于那些搜索：

<?php

    if(isset($_GET['_escaped_fragment_'])){

        $newID = $_GET['_escaped_fragment_'];

        //Generate page here
    }

?>

Answer 2

最好的解决方案是制作一个可以使用和不使用 JavaScript 的网站。阅读有关渐进增强的文章。

Answer 3

现在这个问题通常是通过使用一个服务来解决的，该服务插入了谷歌在网络服务器级别使 AJAX 应用程序可爬行的方案的实现。您不必再自己动手了。

我为以下公司之一工作：https ://ajaxsnapshots.com （还有其他公司）