0

我们遇到过所有页面链接都被抓取并继续被抓取的情况。页面链接包含“~/{someTerm}/{someOtherTerm}/__p/##/##”。

问题在于，现在 Google 和 MSN 机器人都在抓取数以万计的不需要抓取的页面，从而对系统造成压力。

因此，我们将分页链接更改为 Javascript 链接，并删除了所有包含“__p”的 URL，因此它们现在将返回 404 - Page Not Found。我们只希望第 1 页被编入索引，然后可能是一两页（但现在不担心这一点。

有没有办法使用适用于 Google 和 MSNBot 的 WebMasterTools 删除 URL 中包含“__p”的所有页面，如果是，如何？

谢谢。

4

1 回答 1

1

<meta>我认为您应该在要从搜索引擎中删除的那些页面中使用标签。

<meta name="robots" content="noindex, nofollow" />

此外，您可以尝试使用 robots.txt 排除，看看这个网站

User-agent: *
Disallow: /*___p
于 2012-08-15T20:22:19.653 回答