我真的不希望在搜索引擎上找到我网站的某些页面,例如:管理页面、私人消息页面等
如何防止这些页面出现在搜索引擎中?
这不是 .htaccess 解决方案。
要避免特定页面上的所有搜索机器人,请在 HTML 部分添加此<META>
标记:<head>
<meta name="robots" content="NOINDEX, NOFOLLOW">
确保它们未列出的可靠方法是使用 htaccess 和 htpasswd 对目录进行密码保护。
http://weavervsworld.com/docs/other/passprotect.html
但是,主要搜索引擎会尊重您的 robots.txt 文件,而不是索引您禁止的页面。