ajax - Ajax生成内容、爬取和黑名单

Question

我的网站使用 ajax。

我有一个用户列表页面，其中列出了 ajax 表中的用户（带有分页和更多信息的东西......）。

此页面的 url 是：/user-list

用户列表由 ajax 创建。当用户点击一个用户时，他会被重定向到一个页面，该页面的 url 是：/member/memberName

所以我们可以在这里看到，ajax 用于生成内容而不是管理导航（使用# 字符）。

我想检测机器人来索引所有页面。

因此，在 ajax 中，我想显示一个带有分页和酷 ajax 效果的 ajax 表（更多信息...），当我检测到一个机器人时，我想显示所有用户（不分页），并带有指向成员页面的链接，如下所示：

<a href="/member/john">John</a><a href="/member/bob">Bob</a>...

你认为我可以用这种技术被列入黑名单吗？如果您认为是这样，您能否通过保留这些干净的 url 并且不重新开发用户列表（没有 ajax）来提供替代解决方案？

score 3 · Accepted Answer

Google 支持使 AJAX 可抓取的规范：

我做了一个实验，它有效：

由于这是 Google 规范，因此您不会受到处罚（除非您滥用它）。

话虽如此，目前只有谷歌支持它（AFAIK）。

另外，我相信遵循渐进增强的概念是一种更好的方法。也就是说，创建一个可以工作的 html 网站，然后让 JavaScript 增强它

score 0 · Accepted Answer

也许使用<a href=""></a>带有 onclick 的 url 来触发您的 AJAX 脚本？喜欢

<a href="/some/url" onclick="YourFancyFunction();return false;">Some URL</a>

我不认为谷歌会因此惩罚你，你主要使用 JScript，但你确实为他们的机器人提供了后备，所以你的网站不会变得更难访问。

编辑
好的，我误解了。那么我的猜测是你基本上有两个选择：
1.在你的网站中写一个不同的部分，机器人最终会出现，或者，2.重写你当前的网站，例如总是给出一个“完整”页面，只有一个选项得到，比如说，内容 div。然后你只能用 JavaScript 获取内容，但机器人总是会得到一个漂亮的页面。

2 回答 2