我想阻止所有网络蜘蛛清理我的网站。
有办法吗？
我只发现了 2008 年的一些 Apache 规则（比如这个） http://perishablepress.com/ultimate-htaccess-blacklist/
问问题
236 次
1 回答
2
不幸的是，没有办法阻止所有脚本访问您的站点：如果人类可以，没有什么能阻止任何人编写行为与人类相似的蜘蛛，因此可以查看每个页面。您可以查找一些技术来阻止某些机器人访问您的网站（您可以使用大多数搜索引擎来做到这一点），但如果它保持足够长的时间并获得一些访问，它很可能最终会出现在某个数据库中。
看看这里。
于 2013-02-18T15:35:14.517 回答