问题标签 [nofollow]

我有一个正在开发的电子商务网站。客户查找产品的主要方式是使用搜索菜单（选项包括部门、品牌、颜色、尺寸等）过滤结果。

问题是菜单创建了很多重复的内容，这恐怕会导致谷歌和必应等搜索引擎出现问题。根据使用的过滤器组合，可以找到多个页面的产品。

我的问题是，处理重复内容的最佳方法是什么？

据我所知，我有几个选择：（1）什么都不做，让搜索引擎缓存所有内容；(2) 在标题中使用规范链接标签，以便搜索引擎只缓存部门；(3) 将 rel="nofollow" 放在过滤器链接中——不过，老实说，我不确定它在内部是如何工作的；(4) 在过滤后的页眉中放入noindex。

任何可以阐明这一点的光线都会很棒。

我为我的 WordPress 使用了一个按钮简码（见下文）。

如您所见，我可以选择颜色，放置链接，为目标属性指定一些内容。

我想将 rel nofollow 添加到这个 wordpress 按钮链接短代码，但我不知道该怎么做。

谢谢

我的网站上有特定新闻的摘录。每个摘录都创建为帖子，并归类为“新闻”。

我不希望这些帖子被编入索引，或者让这些帖子为关键术语或公司名称生成 Google 快讯，但这就是正在发生的事情。

此类别的 noindex 会阻止这些帖子的 Google 快讯吗？

我们意识到我们的电子商务网站有大量的重复页面在 Google 中被索引，尤其是大量的分面 URL，例如彩色页面、价格页面等。

这些已经被索引，每个都有一个指向自身的规范 url，因此。

即每个分面页面例如Black iPhone Page子类别（facet）在canonical标签中都有以下url

http://www.example.com/category.php?item=color&item=black” />

这基本上是一个完全重复的子集。

现在我们想改变它。

如果它们没有被索引，我们可以简单地在黑色 iPhone 页面上实现一个规范的标签，指向手机页面。

所以我们的黑色 iPhone 页面可能在规范标签中有以下 url；

http://www.example.com/category.php?item=iphone” />

除了将其更改为新的规范标签外，我还应该在每个方面 url 上实现Meta noindex，nofollow以将它们从 Google 中删除，因为我们不希望它们被从索引中删除。

请帮忙！

在 Google 网站管理员工具中，在 Crawl Errors/Other 下，我们看到如下 URL 的 400 错误：

这不是一个真实的 URL，也不是我们打算抓取的 URL。它是一个下划线/主干模板：

1. 为什么 Google 会在script区块内爬行？
2. 为什么 Google 会忽略该rel="nofollow"属性？
3. 我们还能做些什么来让 Googlebot 远离我们的 Underscore 模板？

更新：如果我能找到正确的模式来保留好页面并阻止坏页面，我愿意使用 robots.txt。例如，我想/surnames/Jones/queries在阻塞时保持/surnames/Jones/queries/<%=url_slug%>。我有成千上万个这样的人。看起来Googlebot 可能支持基本模式，但不是完整的正则表达式。

更新 2：嗯，这不是根本原因，而且作为一个长期解决方案似乎有点脆弱，但我在 GWT 中测试了以下 robots.txt 模式将起作用：

我需要找到一种方法来阅读用户发布的内容，以查找可能包含的任何超链接、创建锚标记、将目标和 rel=nofollow 属性添加到所有这些链接。

我遇到了一些像这样的 REGEX 解决方案：

但是关于 SO 关于同一问题的其他问题，强烈建议不要使用 REGEX 而不是使用DOMDocumentPHP。

无论是最好的方法，我都需要添加一些上面提到的属性来强化网站上的所有外部链接。

我的header.php包含我所有页面的标题信息，但对于 error404.php 页面需要nofollow元数据meta name='robots' content='noindex, nofollow。

我试过这个header.php

但我似乎无法让它工作。此代码当前会杀死index.php文件上的所有 css。

我.htaccess用于处理错误 404s。

任何帮助，将不胜感激。

我看到了这个添加 nofollow 标记，但我如何排除更多域。该脚本仅允许 1 个网址。谢谢

我希望能够在单个页面上的标签中添加一个 nofollow 过滤器。我有显示标签的代码...

php if( tie_get_option( 'post_tags' ) ) the_tags( ''.__( '标记为：', 'tie' ) ,' ', '

');

我需要添加哪些代码才能使帖子标签（the_tags）为“nofollow”？我应该在 single.php 还是在 functions.php 上执行此操作？

谢谢！

有没有人尝试编写一段代码来“扫描”某个 div 的内容，并修改其中的每个链接，以便将 rel="nofollow" 添加到每个链接？

我在问，因为我无法将nofollow标签添加到我页面上的某些链接，但是由于它们都在同一个div中，我想看看上面的想法是否可以执行？

另外，我忘了提一下：这种方法是否安全 SEO 明智 - 正如下面提到的 Thad Blankenship 一样 - 爬虫会在执行适当的不添加链接的 jquery 代码之前抓取这些链接吗？