当用户代理不发送引荐来源网址时，如何找出哪些页面链接到损坏的 URL？
我每天在我的网站上收到 100 多个对这个 URL 的请求：/controls/WebService/WebService.asmx
...但实际的 URL 是：/WebService/WebService.asmx
我可以只是将 URL 重写为另一个，但我宁愿弄清楚“控件”引用的来源。我确实有一个名为该文件夹的文件夹，其中包含一些使用 Web 服务的控件，但如果我查看源代码，从来没有提到“/controls/”文件夹...通常，没有推荐人出现在 Elmah 日志中的 404，但即使它出现了，我也看不到页面上的问题作为 Web 服务的 URL页面是正确的。
我在网站上运行了三个不同的爬虫，他们从来没有发现任何问题，所以我怀疑它是由具有解析（甚至执行）JavaScript 或其他东西的智能的东西引起的。“controls”文件夹确实存在的事实让我认为某处可能存在真正的错误，而不仅仅是爬虫软件中的错误。