indexing - 如何让某些页面不被搜索引擎索引？

Question

我做了：

<meta name="robots" content="none"/>

这是最好的方法，还是有更好的方法？

Answer 1

您可以在站点的根目录中创建一个名为 robots.txt 的文件。格式是这样的：

User-agent: (user agent string to match)
Disallow: (URL here)
Disallow: (other URL here)
...

例子：

User-agent: *
Disallow: /

将使（好的）机器人不会索引您网站上的任何内容。当然，有些机器人会完全忽略 robots.txt，但对于那些尊重它的机器人，这是你最好的选择。

如果您想了解有关 robots.txt 文件的更多信息，请参阅http://www.robotstxt.org/

Answer 2

您可以使用 robots.txt 文件来指导搜索引擎不要索引哪些页面。

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

或者在每个页面中使用 meta noindex 标签。