2

我有一个社区网站，目前有大约 10,000 个列表。我正在采用一种新的网址策略，例如

example.com/products/category/some-product-name

作为战略的一部分，我正在实施一个站点地图。谷歌已经对我的网站有一个很好的索引，但是 URL 会改变。我使用一个 php 框架来访问每个产品列表的数据库。

我担心向 google 提供 10,000 个新 URL 的性能影响，我应该这样做吗？

我正在考虑的一个可能的解决方案是将我的 php 输出页面呈现为静态 HTML 页面。我在网站的其他地方已经有了这个功能。这样，谷歌将索引 10,000 个 html 页面。这个系统的美妙之处在于，如果用户通过 google 到达该 HTML 页面，一旦他们开始浏览该站点，他们就会直接跳回 PHP 版本。

我对这种方法的问题是我必须将 .html 附加到我漂亮干净的 URL 上......

example.com/products/category/some-product-name.html

我会以错误的方式解决这个问题吗？

编辑 1： 我想减少 PHP 和 MySQL 的开销。创建 HTML 页面只是一种缓存方法，以在搜索引擎抓取这些页面时为负载峰值做准备。有没有更好的方法？

4

4 回答 4

1

除非我遗漏了什么，否则我认为您不必担心。我假设您的产品名称列表不会经常更改-大约一天左右，而不是每秒。谷歌站点地图应该在一秒钟或更短的时间内被读取，并且抓取工具不会在您更新后立即抓取您。我会在没有任何并发​​症的情况下尝试它，并在您折断脖子优化之前测量效果。

于 2008-12-08T22:11:10.580 回答
1

您不应该担心 10000 个新链接，但您可能想分析您当前的 google 流量，看看 google 抓取它们的速度有多快。缓存总是一个好主意（参见：Memcache，甚至生成静态文件？）。

例如，我目前有大约 5 个来自 googlebot 的请求/秒，这意味着 google 将在半小时内抓取这 10,000 个页面，但是，考虑一下：

  1. 将所有现有链接重定向到新位置

    通过这样做，您可以确保已被 google 和其他搜索引擎索引的链接几乎立即被重写。当前的 google 排名迁移到新链接（其他链接以分数 0 开头）。

  2. 谷歌分析

    我们注意到，谷歌使用分析数据来抓取页面，通常不会通过正常抓取（javascript 重定向、登录用户内容链接）找到这些数据。很有可能，谷歌会很快发现您的网址更改，但请参阅 1)。

  3. 网站地图

    在我们的案例中，站点地图文件的经验法则只是让它们使用最新内容进行更新。保留 10,000 个链接，甚至是所有链接都毫无意义。您将如何更新此文件？

这些天，我和谷歌爬虫是爱恨交织的关系，因为用户使用的大多数链接都被很好地缓存了，但谷歌爬虫爬取的东西通常不是。这就是谷歌在 1/6 的请求中导致 6 倍负载的原因。

于 2008-12-08T22:19:31.140 回答
0

不是您的主要问题的答案。

您不必附加 .html。您可以保留 URL 原样。如果您找不到更好的方法来重定向到 html 文件（没有 .html 后缀），您可以通过 PHP 使用readfile输出它。

于 2008-12-08T22:08:40.957 回答
0

我担心向 google 提供 10,000 个新 URL 的性能影响，我应该这样做吗？

对 Google 服务器的性能影响？我不会担心的。

对您自己的服务器的性能影响？我也不会担心。我怀疑您会获得比以前更多的流量，您只会将其发送到不同的 URL。

于 2008-12-08T22:17:09.663 回答