web-crawler - Bingbot 导致 404 错误

Question

我们最近看到大量 404 错误是由 Bing 网络爬虫创建的。我已经验证 IP 实际上是 Bing 机器，但只是不知道他们为什么要尝试他们正在尝试的 URL。我不想使用 robots.txt 文件告诉他们根本不要抓取我的网站，但同时我不希望他们继续请求不存在的页面。有没有办法知道 Bing 从哪里获取特定 URL？我尝试使用 Google 搜索[link:www.mywebsite.com/pagename/]，但没有找到任何东西，这让我相信该机器人正在做一些不应该做的事情，而不是我的网站有一个错误的 URL。