问题标签 [noindex]

我有这个结构的链接：

• http://www.example.com/tags/等等
• http://www.example.com/tags/blubb _
• http://www.example.com/tags/ blah / blubb（适用于与两个标签匹配的所有项目）

我希望 google & co 蜘蛛所有在 URL 中有一个标签的链接，但不是有两个或多个标签的 URL。

目前我使用html元标记“robots”->“noindex，nofollow”来解决这个问题。

是否有 robots.txt 解决方案（至少适用于某些搜索机器人）或者我是否需要继续使用“noindex，nofollow”并忍受额外的流量？

我需要一些关于我的问题的解释。

我的标题上的示例已经添加

我应该再次将规范标签添加到我的标题中吗？

让我知道 ：）

规范标签

更新

我们知道规范标签目前也被 google、yahoo 和 live search 支持。noindex 和 nofollow 怎么样？yahoo 和 live (bing) 也支持吗？

我正在为 Google 的搜索引擎优化我的网站，最近我注意到在执行“site:www.joemajewski.com”查询时，我得到了根本不应该被索引的页面的结果。

我们来看看这个页面，例如：http ://www.joemajewski.com/wow/profile.php?id=3

我创建了自己的 CMS，这只是用户 ID #3 的统计数据的细分，我注意到它已被 Google 索引，尽管它不应该被索引。我知道 Google 的结果需要一些时间才能准确反映我网站的内容，但该索引已被错误地编入索引近六个月。

以下是我采取的预防措施：

我的robots.txt文件有这样一行：

通过 Google 网站管理员工具运行 url 时，它表明我确实正确地创建了 disallow 命令。但是，它确实指出，如果链接到的页面没有被抓取，它仍可能会显示在搜索结果中。因此，我又采取了一项预防措施。

在源代码中，我包含了以下元数据：

我假设这follow意味着在计算 PageRank 等时使用该页面，并且noindex告诉 Google不要在搜索结果中显示该页面。

这个页面，profile.php，用于获取$_GET['id'] 并找到对应的注册用户。它显示了有关该用户的一些信息，但相关性不足以保证在搜索结果中显示，所以这就是我试图阻止谷歌索引它的原因。

这不是谷歌索引的唯一一个我想删除的页面。我还有一个 WordPress 博客，有很多类别页面、标签页面和存档页面我想删除，并且正在执行相同的程序来尝试删除它们。

有人可以解释如何从 Google 的搜索结果中删除页面，并且可能有一些标准可以帮助确定我不希望将哪些类型的页面编入索引。就我的 WordPress 博客而言，我真正想要索引的唯一页面是我的文章。我试图阻止的其他一切，谷歌运气不佳。

有人还可以解释为什么将不提供任何新内容或相关内容的页面编入索引是不好的，例如 WordPress 标签或类别的页面，这些页面显然永远不会收到来自 Google 的流量。

谢谢！

我在所有页面的开头都有这个脚本 - 其中包括：

加载头部后，加载页面的其余部分并设置一个变量。

$机器人=“关闭”；或 $robots="";

我无法在谷歌中获得一个页面来索引。我想知道这是否真的被破坏了，所有页面都设置为 noindex，nofollow。如果我查看源代码，一切看起来都很好。例如，我想要索引的页面有索引、关注和我不想要的页面有 noindex、nofollow。

任何人都可以帮忙吗？

我手头有一个案例，我必须超级确定谷歌（或任何雅虎/必应）不会索引特定内容，所以冗余越多越好。

据我所知，有 3 种方法可以做到这一点，我想知道是否还有更多（冗余是关键）：

1. 将元标记设置为无索引
2. 在 robots.txt 中禁止受影响的 url 结构
3. 通过ajax发布加载内容

所以，如果这都是方法，很好，但如果有人有一些想法如何更确定：D

（我知道这有点疯狂，但如果内容以某种方式出现在谷歌中，这对我的公司来说会变得非常昂贵：'-( )

我有一个多语言网站，内容相同，不同语言，描述性 seo url 包含每页文章的标题。为了在翻译文章的所述语言之间切换，我有一个操作，它使用以前的语言查找翻译的标题并重定向到它。这一切都很好，除了我注意到，尽管没有视图，谷歌已将所述重定向网址编入索引。

这是不好的做法吗？我不想进行 301 重定向，因为似乎在每个页面上都有指向 301 重定向的链接是一个非常糟糕的主意。我是否以某种方式包含元标记或是否有其他方法？

我目前有这个的原因是我希望每个文章页面都使用每个页面顶部的标志链接到它的所有翻译。我想得越多，我应该只生成直接 url，因为这本身可能有 seo 的好处。我最初没有走这条路的原因是页面渲染速度。我必须查找多篇文章，仅针对其 url slug 并在任何标题更改时使所有语言的缓存过期（这是 wiki 样式的用户生成内容）。此外，在某些情况下，翻译将不存在，在这种情况下，我需要改为链接到带有 Flash 消息的文章类别。

因此，在编写时仔细考虑这一点，如果更难以实施解决方案，这似乎更可取？

我在我的 wordpress 博客上使用弹出式评论。我知道大多数人不推荐这个，但我的观众真的很喜欢这样的评论。

但最近我发现谷歌正在索引临时弹出评论页面，这些页面会产生很多 404 错误。

如何让 Google 忽略弹出页面？我可以在这些页面上添加 noindex、nofollow 和 noarchive 吗？当人们点击评论链接时，它们会自动生成。

我的页面：http://www.sedentario.org/

我对如何防止网站的一页不被 Google 或任何其他机器人编入索引感兴趣。在我的脚本中，我有带有 TPL 文件的模板，Index.tpl，Header.tpl .... 那么我如何告诉谷歌不要索引页面：login.tpl

谢谢

我正在做一个网络爬虫，现在我正在尝试关注 robots.txt 和元标记NOINDEX和NOFOLLOW.

NOFOLLOW说我不要点击页面中的链接，但是NOINDEX？
我知道这是不索引搜索的页面，但我不会做任何搜索，只将页面存储在数据库中。

如果我存储在数据库中，我会不尊重NOINDEX标签，或者这只适用于搜索？

noindex 是 robots.txt 文件中的可选指令，还是 user-agent、disallow、allow 和 crawl-delay 是唯一的选项？
例如，这对 robots.txt 文件的内容有效吗？