我正在使用的一个大型网站每天从 Google 获得 80K+ 404 的垃圾 URL。我不知道他们从哪里来。这是几个示例。这些 URI 在站点结构中不存在，因此我假设它们是由驱动 Gbot 抓取它们的外部代理/站点创建的。有人有想法么？
2013 年 7 月 2 日 22:05 /Sl/4watQCXBFtF6obwFRA0f35148b 10262 404 - Not Found No Referrer Mozilla/5.0（兼容；Googlebot/2.1；+ http://www.google.com/bot.html）
2013 年 7 月 2 日 22:05 /PvDIs6AveH9tju3tETtWg045cb22d 10261 404 - 未找到没有推荐人 Mozilla/5.0（兼容；Googlebot/2.1；+ http://www.google.com/bot.html）