0

我有一个超过 20,000 页的 DNN 站点。Googlebot 和 Bingbot 一直在抓取我的网站。

当我查看我的站点日志时，我可以看到 google 和 bing 正在通过 pageid 抓取我的网站（例如：www.url.com/Default.aspx?TabID=5000）

机器人每分钟都在访问我的网站。当我添加新页面时，我希望机器人抓取新添加的页面，相反我看到机器人重新抓取非常旧的页面，并且需要几个小时才能识别新添加的页面。

我有超过 10,000 个条目的 robots.txt 文件，这些条目具有以下定义：

不允许：/Default.aspx?TabID=5000
不允许：/Default.aspx?TabID=5001
不允许：/Default.aspx?TabID=5002

等等。

所以我注意到几个问题：

1 - Googlebot 和 Bingbot 忽略了我的禁止并重新抓取了我在 robots.txt 中定义的页面 - 机器人如何知道使用 TabID 返回并重新抓取旧页面？

2 - 我仍然注意到，当我添加新页面时，两个机器人都在忙于抓取旧内容，并且不会立即阅读我的新内容，有没有办法强制 Google 和 Bing 机器人总是首先阅读新添加的页面？

提前感谢您的任何建议。

4

1 回答 1

0

如果您访问http://URL.com/sitemap.aspx，请查看那里列出了哪些页面。

我强烈建议升级到 DNN 7，因为您可以控制站点地图中显示的页面，这可以帮助您控制索引问题。

更新：在管理菜单下，如果您找到搜索引擎站点地图页面，您可以设置要包含在站点地图中的最低页面优先级。然后对于您不想显示的页面，您可以在页面设置中修改它们的优先级。

于 2013-06-14T20:04:40.550 回答