0

我的网站根据以下规范提供动态创建的内容以供爬虫查看： https ://developers.google.com/webmasters/ajax-crawling/docs/specification 。这样，Google 爬虫使用以下语法索引了大约 5000 个网址： http://www.unclestock.com//app.jsp?_escaped_fragment_=s=AAPL http://www.unclestock.com//app.jsp?_escaped_fragment_= s=谷歌

使用 Google 的网站管理员工具查看我的抓取报告，我确信这些页面已成功抓取。但是，在通过 Google 搜索时，它们不会显示为结果。请注意，我确实找到了我的一般网站，在“更多结果”下，我找到了大约 40 个动态生成的页面，但显然这不是我想要的。我想根据它们的内容（AAPL、GOOG、...）找到这些页面。也许，爬虫认为我的页面或多或少是相同的......但事实并非如此。

4

1 回答 1

0

如果 Google 看到带有 #! 的 URL，通常只会请求带有 ?_escaped_fragment_= 的页面。在里面。这些页面将被索引为 #! （以便单击 Google 搜索结果中的链接将转到带有 #! 的 URL），而不是索引为 ...escaped_fragment...

您说 Google 已将包含“escaped_fragment”的 URL 编入索引 - 但如果您准确引用它们，Google 从未见过 URL“ http://www.unclestock.com/app.jsp?#!s=AAPL ” - 如果它有，会有两个？在 app.jsp 作为 #! 替换为 ?#!_escaped_fragment_=

我的印象是jsp代码需要有吗？在 #! 之前的 URL 中 所以该网站无法正常工作

.../app.jsp#!s=AAPL

于 2013-10-04T19:42:37.797 回答