asp.net - 在我的网站中获取大量不需要的 404 日志

Question

从过去的几个月开始，我遇到了由于请求一些错误的 URL 而导致的 404 错误的问题。我不知道这些链接是从哪里来的。在我们的网站上没有这样的链接。几个例子是：

有如下链接：

www.abc.com/definition/1333/text/javascript

www.abc.com/undefined

www.abc.com/twitter.json

以上只是示例，我每天都会收到 100 个带有不同关键字的示例。

有没有人遇到过同样的问题？

Answer 1

如果普通（即人类）访问者无法通过您网站上的链接到达这些位置，那么您无需担心。

有许多爬虫在网上搜索可利用的软件。这些爬虫使用他们知道的 URL 从一个网站跳转到另一个网站，这些 URL 会告诉他们某个应用程序是否正在运行。

---

但是，您应该小心并仔细检查，以免出现标记错误或类似错误将您的访问者引导至 404。

总是在责备别人之前责备自己。查看是否是您的错的一种方法是开始登录Referer标题（以查看指向 的页面404），即使这很容易被伪造，您仍然会面临足够的事实来排除其中一个或另一个。