apache - 如何防止 Google 抓取 UserDir 网址（但不是真正的域）？

Question

我们有客户在他们的真实域上线之前在 UserDir URL 上构建他们的网站。UserDir URL 始终采用以下格式：

http://1.2.3.4/~johndoe

有时，Google 会抓取这些 UserDir 网址，即使该网站在http://johndoe.com上运行，临时网站也会显示在结果中

那么，一旦客户端在http://johndoe.com上运行，我该如何阻止 Google 抓取 UserDir 地址？

（当然，我需要谷歌来抓取真实的域名，因为 SEO 对我们的客户很重要）

Answer 1

为此，我使用规范标签。如果您将规范标签放在 index.html 文件中，如下所示：

<link rel="canonical" href="http://johndoe.com/" />

然后，当 Googlebot 在http://1.2.3.4/~johndoe找到它时，它会知道它是http://johndoe.com/的副本，并且 Google 会索引正确的那个。Googlebot 在抓取真实网站时会看到相同的标签，并且自引用规范没有问题。