在asp.net，c# web applciation中，是否可以防止机器人访问特定页面？
我想阻止所有机器人访问我网站上的付款页面。
问问题
1771 次
3 回答
4
您可能需要适当的 robots.txt 文件。在这里您可以找到有关如何使用它的更多信息： http ://en.wikipedia.org/wiki/Robots_exclusion_standard
于 2011-06-20T21:46:51.983 回答
3
你不能。
您可以要求机器人不要访问您的网站（有关如何执行此操作的更多详细信息，请参阅 Projapati 的回答）、某些目录或某些文件；但这实际上只是一个请求。只要“Joe Schmoe 用户”可以打开浏览器并看到该页面；没有什么能阻止某人自动访问。
您可以尝试阻止某些您知道被各种机器人/爬虫使用的 IP；但这将是一个失败的提议。你永远不能肯定地说它不是访问页面的机器人。
或者您可以修改站点，以便只有经过身份验证的用户才能访问该特定页面，并希望没有人会遇到设置假帐户的麻烦。
于 2011-06-20T21:56:42.353 回答
0
将一个名为robots.txt的文件放在您网站的根文件夹中，并将以下代码添加到其中
User-Agent: *
Disallow: /paymentpage.php # change this to your payment page.
您还可以禁止特定机器人，例如 Google：
User-Agent: Googlebot
Disallow: /paymentpage.php # change this to your payment page.
了解有关 robots.txt 的更多信息：
于 2011-08-19T14:44:10.663 回答