2

我们可以使用 robots.txt 更改机器人的抓取速度。但 Googlebot 没有考虑 robots.txt，所以我寻找另一种方法。

在我的网站中，我有一些页面非常频繁地更改，并且更改很小。一天说 20-30 个字符。但我不希望 Googlebot 经常重新索引它们。比如说，我希望 Googlebot 每个月都对其进行索引。是否可以使用这样的元标记来制作它：

<META HTTP-EQUIV="expires" CONTENT="Wed, 26 Feb 1997 08:21:57 GMT">

Googlebot 会忽略这一点吗？或者您能推荐其他解决方案吗？

4

2 回答 2

1

您可以使用这些 URL 创建站点地图并将<changefreq>元素设置为monthly. 这些只是对搜索引擎的提示，但这可能是您最好的选择。

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
   <url>
      <loc>http://www.example.com/latest-updates.html</loc>
      <changefreq>monthly</changefreq>
   </url>
</urlset>
于 2012-08-11T22:55:38.157 回答
1

我建议你生成一个 XML 站点地图。

站点地图将允许您指定要传递给搜索引擎的参数，即您赋予页面的重要性（或权重）以及页面（通常）更新的速率。

这并不意味着搜索引擎只会坚持这一点。可能是您说页面每年更新一次，并且该年被抓取 3 次，或者它设置为每天，并且每月只被抓取一次。

谷歌在站点地图上

于 2012-08-11T22:57:10.590 回答