我考虑的一件事是检查用户代理和 IP 范围,如果请求者是机器人(我可以说是最好的),然后在最相关页面的末尾添加一个 div,其中包含指向每个单独项目的链接。是的,这将是一个巨大的页面加载 - 我不确定谷歌机器人会如何对此做出反应。
那将是一件非常糟糕的事情。专门为了搜索引擎的利益而向搜索引擎提供不同的内容被称为伪装,是让您的网站被禁止的好方法。甚至不考虑它。
每当网站管理员担心他们的页面被索引时,使用 XML 站点地图是确保搜索引擎了解您网站内容的一种简单方法。如果您的站点是数据库驱动的,它们也很容易创建和更新。XML 文件不必是静态的,因此您可以在搜索引擎请求时动态生成它(Google、Yahoo 和 Bing 都支持 XML 站点地图)。您可以在sitemaps.org找到有关 XML 站点地图的更多信息。
如果您想让您的内容可供搜索引擎使用并希望从语义标记(即 HTML)中受益,您还应该确保您的所有内容都可以通过超链接访问(换句话说,不能通过表单提交或 JavaScript)。原因有两个:
- 您的项目链接中的锚文本将包含您想要获得良好排名的关键字。这是权重更大的排名因素之一。
- 链接算作“投票”,尤其是对 Google 而言。来自外部网站的链接,尤其是相关网站的链接,是您听到人们推荐最多且有充分理由的内容。拥有它们很有价值。但是内部链接也很重要,并且可以成为支撑内部项目页面的好方法。
- (奖励)谷歌有 PageRank,它曾经是他们排名算法的重要组成部分,但现在只占很小的一部分。但它仍然具有价值,并且链接“传递”PageRank 到它们链接的每个页面,以增加该页面的 PageRank。当您拥有尽可能多的页面时,就会有很多潜在的 PageRank 可以传递。如果您的网站建设得很好,您可能仅通过内部链接就可以让您的主页达到 6 的 PageRank。
拥有以某种方式链接到所有产品的 HTML 站点地图是确保搜索引擎和用户可以轻松找到所有产品的好方法。还建议您构建您的网站,使更重要的页面更接近您网站的根(主页),然后随着您的分支进入子页面(类别),然后是特定项目。这让搜索引擎了解哪些页面是重要的,并帮助他们组织它们(这有助于他们对它们进行排名)。它还可以帮助他们从上到下跟踪这些链接并找到您的所有内容。
每个项目都有自己的详细信息页面,可通过以下方式访问
http://www.mysite.com/item.php?id=item_id
或者
http://www.mysite.com/item.php/id/title
这对SEO也不利。当您可以使用两个不同的 URL 拉出同一页面时,您的网站上有重复的内容。谷歌正在努力提高其索引的质量,他们认为重复的内容质量低下。他们臭名昭著的熊猫算法部分用于查找和惩罚内容质量低下的网站。考虑到您拥有多少产品,因此受到处罚只是时间问题。幸运的是,解决方案很简单。您只需要为您的产品页面指定一个规范的 URL。我推荐第二种格式,因为它对搜索引擎更友好。
阅读我在 Pro Webmaster 网站上对 SEO 问题的回答,了解有关 SEO 的更多信息。