我想在搜索引擎中隐藏 public_html 中名为 ( beta ) 的文件夹以及它的所有子文件夹和文件，我是否必须将文件放在根文件夹 ( / ) 中并执行 robots.txt 的内容如下
User-agent: *
Disallow: /public_html/beta
或者
将 robots.txt 放入 public_html 并执行如下内容
User-agent: *
Disallow: /beta
问问题
3370 次
3 回答
2
robots.txt 必须在根目录中。
www.yoursite.com/robots.txt
这就是你需要的：
用户代理： *
禁止：/文件夹/某事
某些东西是您要禁止的文件夹的名称
另外，请注意，您只想阻止名为 something 的子文件夹。如果您还有一个文件名为您不想禁止的文件，请执行以下操作：
用户代理： *
禁止：/文件夹/某事/
于 2013-01-31T12:07:40.517 回答
0
重要的是公共 URL，而不是服务器的实际物理文件夹。
因此，当您有一个站点时example.com/cooking/index.html，您的 robots.txt 需要位于example.com/robots.txt。因为sports.example.com/football/blog它会sports.example.com/robots.txt。
于 2013-01-31T04:16:49.407 回答
-1
最好的解决方案是从测试版中隐藏所有子文件夹和文件。您可以按如下方式定义 robots.txt：
用户代理： *
禁止：/beta*/
现在，所有搜索引擎都不会抓取所有子目录和文件，然后是 beta。
于 2013-01-18T08:59:17.060 回答