1

您好先生，防止谷歌在搜索引擎中显示文件夹的最佳方法是什么？例如 www.example.com/support，如果我希望支持文件夹在谷歌中消失，我该怎么办？我做的第一件事是放置一个“robots.txt”文件并包含此代码

User-agent: *
Disallow: /support/etc

但结果是一场彻底的灾难，除非我删除 robots.txt ，否则我无法再使用支持页面了 最好的办法是什么？

4

3 回答 3

1

防止谷歌在搜索引擎中显示文件夹的最佳方法是什么？

文件robots.txt是执行此操作的正确方法。您的示例对于阻止/support/etc目录及其后代是正确的。

除非我删除 robots.txt，否则我无法再使用支持页面

robots.txt 文件会影响您网站的运行方式是没有意义的，当然它也不应该影响人类可以访问的页面。我怀疑还有其他问题 - 检查您的服务器日志以查看记录了哪些类型的错误。

于 2010-03-03T00:24:31.110 回答
1

虽然不是限制机器人访问的首选方法，但谷歌在这里谈到了使用 noindex 元标记。如果它们是由您自己的网站以外的网站链接到的，这也将防止显示各种页面。

可以在这里找到关于限制访问您网站的机器人的一个很好的讨论。

于 2010-03-03T00:30:29.727 回答
1

robots.txt 不应影响您的页面功能。如果有疑问，您可以使用http://www.searchenginepromotionhelp.com/m/robots-text-creator/simple-robots-creator.php或http://www.seochat.com/seo-tools等工具生成/机器人发电机/

在 robots 文件中禁止时，您可以明确指定一个文件或子文件夹，而不仅仅是一个文件夹。

您还可以在文档中使用元标记来告诉爬虫不要使用它

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
于 2010-03-03T00:35:21.653 回答