web-crawler - 禁用爬取子域谷歌爬虫

Question

我想知道如何禁止谷歌抓取我的子域？

我拍了一张我的网络空间文件夹的照片。awesom media 文件夹是主站点 www.awesom-media.de 所在的文件夹。文件夹

另一个是子域。我想要的是谷歌不应该抓取这个但我不知道如何。

我在 awesom 媒体文件夹中没有 robots.txt，但正如您在 / 部分中看到的那样。robots.txt 的内容是User-agent: * Disallow:

就是这样。

我怎么能告诉谷歌不要抓取子域

Answer 1

如果您的所有子域都直接路由到特定文件夹（例如automagazin.awesom-media.de使用该文件夹auto-magazin），只需将 robots.txt 与

User-agent: *
Disallow: /

在您要禁止 Google 访问的子域的所有文件夹中。我猜这些是auto-magazin和future-magazin（也许更多）。

目前你把它放在根文件夹中，谷歌可能根本看不到。只需尝试加载[subdomain].awesom-media.de/robots.txt并查看它是否加载了 robots.txt。