1

我有一个包含<div>带有 onclick="" 代码的标签的页面，该代码调用 ajax 请求以获取 json 数据，然后遍历结果以形成链接 ( <a />) 以附加到页面。这些链接在我网站上的任何其他地方都不存在。如何使这些动态生成的链接可抓取？

我最初的想法是将<div>标签变成<a>带有 href="#" 的标签，但由于我对典型爬虫如何工作的了解有限，我认为这不会解决我的问题，因为 "#" 将是爬虫，不一定是动态生成的输出。除此之外，我根本不希望滚动定位被改变，这也将排除给<a>标签一个 id 并让它引用自己。

除了创建一个包含我需要抓取的所有链接的新页面之外，我还有其他选择吗？谢谢。

4

1 回答 1

3

作为一般规则，通过 JavaScript 创建或提供的内容无法被搜索引擎找到或编入索引。Google 确实支持可抓取的 Ajax，但使用它作为访问内容的唯一方式不利于可访问性。此外，其他搜索引擎无法获取该内容，这也不是一件好事。基本上可爬行的ajax是一件坏事。

您应该始终使您的内容可用，而不需要 JavaScript 来获取它。然后，您可以通过添加 JavaScript 来改进您的网站，从而更快或更轻松地获取内容。这称为渐进式增强，是构建良好网站的方式。

于 2011-09-21T18:11:50.123 回答