0

可能重复：
Google 是否抓取 AJAX 内容？

所以我有一个论坛 - 链接是以下 URL 格式的课程页面 - http://www.example.com/course/course-feed/course_id/1

现在这个页面有一堆问题，每个问题都是一个链接，点击后会带您进入问题详细页面，其中显示了该问题的所有答案 -

详细问题页面 url QUESTION PAGE 的示例格式 - http://www.example.com/course/question-feed/course_question_id/636

因此，如果我有 5000 个问题，我就有 5000 个带有答案的问题页。

现在我的问题是 COURSE PAGE，显然没有显示所有 5000 个问题。相反，它显示 50 个问题链接，并在底部有一个“更多”按钮。

当用户点击“更多”时——接下来的 50 个问题通过 JQUERY 调用获取并显示在下方。现在当这个操作发生时——URL 显然没有改变。

当我最近查看有多少页面在 Google 中被索引时 - 它只有前 50 个问题页面，因为索引的 COURSE PAGE 仅显示 50 个问题链接。

我的问题是如何让爬虫浏览所有“更多”链接并索引所有 5000 个页面。

4

1 回答 1

2

简短的回答：它没有。

长答案：如果您的内容只能通过 javascript 调用访问，并且没有后备，则 Google 不会将其编入索引。在没有看到页面的情况下，我会假设该链接通常链接到http://example.com/questions.php?page=2由后端处理的内容。然后，您可以使用一些 JQuery 覆盖链接：

<a href="/questions.php?page=2" class='nextPage'>

<script>
    $('a.nextPage').click(function(){
        e.preventDefault();
        $.ajax(/*etc*/)
    })
</script>

这只是一长串总是优雅降级的原因中的又一个。

于 2013-02-05T18:03:19.610 回答