web-crawler - 如何从谷歌的索引中排除部分网页？

Question

有一种方法可以从谷歌的索引中排除完整的页面。但是有没有办法专门从谷歌的抓取中排除网页的某些部分？例如，排除通常包含无关内容的侧边栏？

Answer 1

您可以使用 IFRAME 标记包含要在 Googlebot 中隐藏的页面部分，并阻止将 robots.txt 文件中包含的文件编入索引。

添加 iframe 以在页面中包含侧边栏

<iframe src ="sidebar.asp" width="100%" height="300">
    </iframe>

这里要在 robots.txt 文件中添加规则以阻止蜘蛛

user-agent: *
disallow: sidebar.asp

Answer 2

如果您是为 AdSense 执行此操作，这里有一篇关于如何从抓取工具中排除内容的文章。如果您不希望 Google 跟踪链接，您可以给它们一个rel="nofollow"属性。否则，恐怕你在这里运气不好。

您可以做的其他事情，但我不一定建议您这样做，是在呈现您的页面之前检测用户代理，如果它是蜘蛛或机器人，则不显示您想要排除的页面部分。