robots.txt 应该放在哪里？
domainname.com/robots.txt
或者
domainname/public_html/robots.txt
我把文件放在了domainname.com/robots.txt，但是当我在浏览器中输入它时它没有打开。
问问题
14394 次
4 回答
14
文件在文件系统中的位置取决于您使用的主机，因此我们很难对此给出具体答案。
最好的描述是：将它放在代表您主页的index.html（index.php或其他）文件的任何位置。domainname/public_html/index.html例如，如果是，则将其放入domainname/public_html/robots.txt.
于 2010-06-06T14:52:41.177 回答
2
我认为描述它的更好方法是将它放在域的根 Web 文件夹中......所以你也可以将你的 sitemap.xml 放在根目录中，或者在你的 robots.txthttp://example.com/robots.txt 中用一行来引用它。Sitemap: http://example.com/fldr/smap.xml
不要忘记：您可以使用Google 网站管理员工具检查以确保您没有限制任何您不想要的内容（您还可以看到查询和链接哇哦！）。
建议：如果可能，请考虑使用，<META NAME="ROBOTS" CONTENT="INDEX, NOFOLLOW">因为您仍然会为页面上的链接赚取链接汁，但它不会出现在谷歌索引中，而 robots.txt 指令可以在 SERP 中留下带有 do 描述的纯 url，但会丢失链接的所有值指出它是因为它的 robots.txt 已被删除（它的锚文本排名 b/c 所以要归功于它）
于 2010-06-09T15:08:58.887 回答
2
在您的 Web 目录的根目录中（您放置网站上显示的文件的位置）
于 2010-06-23T20:49:57.853 回答
0
在这种情况下，您应该将其放入 中domainname/public_html/robots.txt，因为该public.html文件夹是您的索引文件所在的位置。
于 2010-06-06T14:55:49.983 回答