我试图禁止网站的某些部分而不是整个内容。
我对此比较陌生，所以如果有人引导我完成它，我将不胜感激。
我知道您可以禁止：/page1.cfm 来自爬虫，但如果我只想禁止该页面的一部分，例如该页面上存在的链接或联系表格，该怎么办？这个功能甚至可能吗？
根据我最近阅读的一些论坛，“nofollow”功能不再有效，因为爬虫变得越来越聪明。（我不知道那个论坛有多可信，所以如果有人有更好的来源，请分享）
有什么建议么？
问问题
362 次
2 回答
1
您可以使用元标记中的属性“nofollow”来隐藏页面上的信息。谷歌写道，他们不会传递标有“nofollow”的链接。您可以在此处找到有关此内容和示例的更多信息：
Robots.txt 教程和Google 支持
希望这会有所帮助
于 2012-06-03T12:49:02.247 回答
1
不要使用nofollow，你会在你的页面上丢失linkjuice。
Robots.txt 只是对爬虫的提示，如果他们已经找到了他们仍然访问的页面并将其编入索引，则有一半的时间使用禁止规则。
使用 .htaccess 规则来禁止或阻止对该页面的访问。或者用复杂的 .js 加密你的链接（base64_encode() + str_rot13() 编码应该足以丢失爬虫）
于 2012-06-04T13:23:36.880 回答