我刚刚更改了 DNS 设置，因此该文件夹/forum现在是子域而不是子目录。如果我做一个 robots.txt 文件并说：
User-agent: *
Disallow: /forum
这会不允许抓取子目录和子域吗？
我想禁止抓取子目录，但允许抓取子域。 注意：这是在共享主机上，因此可以访问子目录和子域。这就是为什么我有这个问题。
那么，我怎样才能只允许抓取子域？
问问题
610 次
1 回答
0
如果您想停止爬行，这是正确的方法。但请注意：如果 URL 已编入索引，则不会删除。
我更喜欢的方式是通过元标记将所有页面设置为“noindex/follow”，或者甚至更好的是“规范标签”将搜索引擎流量发送到子域 url 到你的
在像“http://www.yourdomain.com/directoryname/post-of-the-day”这样的给定 URL 上使用
<link rel="canonical" href="http://directoyname.yourdomain.com/post-of-the-day" />
最新的 URL 将是 SERP 中唯一的 URL
于 2012-02-20T18:27:44.990 回答