我有一个使用 Google 自定义搜索引擎的网站。我希望 Google CSE 抓取我的网站，但我希望它远离常规 Google 搜索的结果。我把它放在我的 robots.txt 文件中，希望谷歌 CSE 机器人会忽略它，因为我在设置中指定了我希望谷歌 CSE 抓取的页面
User-agent: *
Disallow: /
我猜 Google CSE 机器人也必须遵守 robots.txt。那么有没有办法让我的页面远离搜索引擎搜索，但让 Google CSE 仍然能够索引它？蒂亚！
问问题
799 次
1 回答
1
这个问题没有适合您想要的解决方案。我也有同样的情况，我只需要自定义搜索。不幸的是，谷歌的爬虫列表没有显示谷歌自定义搜索的特定机器人。阻止 Googlebot 会杀死原生搜索和自定义搜索。
于 2013-10-22T14:27:06.187 回答