可能重复：
如何检测假用户（爬虫）和 cURL
我网站的某些页面被不受欢迎的抓取。
说像这样的页面
abc.com/smarty/templates/1.html
abc.com/smarty/templates/2.html
abc.com/images/1.jpg
abc.com/images
- 我想避免将这些页面编入索引
- 还想从谷歌索引中删除这些页面。
我知道使用 apache 设置来做到这一点。但是由于我使用的是共享网络，所以我无法访问这些网络。
请帮忙
问问题
112 次
3 回答
3
您可以使用文本文件 robots.txt，搜索引擎会找到该文件并告诉他们可以和不可以在您的网站中索引哪些页面。
这是一篇关于如何编写此文件的好文章： Robots.txt：它是什么，为什么使用它以及如何编写它
此处讨论了从 Google 中删除页面
于 2012-12-11T16:55:03.500 回答
0
在 robots.txt 添加规则，如
User-agent: *
Disallow: /smarty/*
Disallow: /images/*
于 2012-12-11T17:01:57.673 回答
0
www.google.com/webmasters/tools/
您可以以 google 的身份获取页面您可以从 google 的索引中删除页面，您可以上传您的站点地图等等。我认为这正是您正在寻找的。
于 2012-12-11T17:06:25.377 回答