我们正在开发一个 PHP 网络应用程序。最近我们的 apache 日志显示 Apache 为特定情况提供 404 错误页面。日志表明 HTTP_REFERER 是:http://ourhost.com?gclid=some_id。REQUEST_URI 是:/cache/some_other_id。
我们的 web 应用程序是用 symfony 1.4 构建的。我们的 web 应用程序不提供任何以 /cache 开头的页面,因此它提供 404 页面。Web 应用程序也不提供包含指向 /cache/some_other_id 链接的页面。
为什么 Google(爬虫)会尝试访问以 /cache 开头的 URL?
我们应该如何处理这些 404 错误?