我们的 robots.txt 文件仅包含以下内容：
User-Agent: *
Disallow: /
但是，我们经常收到以下错误。不知道为什么 Bingbot 和 Googlebot 都在寻找 Robots.txt 文件夹
IP: 207.46.13.42
HTTP status code: 404
URL: http://www.website.net/robots.txt/
User Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
The following error occurred:
The controller for path '/robots.txt/' was not found or does not implement IController.
IP: 66.249.74.48
HTTP status code: 404
URL: http://www.website.net/robots.txt/
User Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
The following error occurred:
The controller for path '/robots.txt/' was not found or does not implement IController.
我们可以围绕这个进行编码，但问题是为什么这些主要的机器人试图搜索这个文件夹？我们 robots.txt 文件的目标是防止机器人抓取该网站。从互联网上存在的每个示例中，我们都正确设置了 robots.txt 文件以完成此操作，但我们仍然遇到这些机器人试图访问不存在的文件夹，并且 MVC 尝试处理它导致异常。