我们运行了一个 URL 缩短器,在过去一周左右,我们开始看到{normal url}/no_facebook_preview_picture.jpg
来自 Facebook 拥有的 IP 和用户代理的许多奇怪请求facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)
如果我在墙上发布了指向我们网站的正常链接(设置为Only Me
我可以测试),我会在访问日志中看到以下条目
66.220.152.6 - - [05/Feb/2013:16:31:36 +0000] "GET /44_U HTTP/1.1" 200 1314 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"
但是,如果我发布返回 404 或 410 的链接(创建后删除垃圾邮件链接),我会得到这个
69.171.237.15 - - [05/Feb/2013:16:49:16 +0000] "GET /notexistURL HTTP/1.1" 404 1319 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"
然后在一个小时左右
173.252.110.113 - - [05/Feb/2013:17:15:15 +0000] "GET /notexistURL/no_facebook_preview_picture.jpg HTTP/1.1" 404 0 "-" "facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)" "-"
该 IP 的 WhoIs 报告
NetName FACEBOOK-INC
NetHandle NET-173-252-64-0-1
所以它们绝对是 Facebook 的 IP。
我们每天会收到大约 10 到 20 个这样的请求,而且都是一样的。我们只能取回 7 天的日志文件,但这些请求是在 7 天前发生的。
我已经测试了唯一的链接,因此没有其他方法可以找到该链接。我个人不太使用 Facebook,除了我的测试链接之外的所有链接都是由其他用户创建/发布的,但我认识到所有链接到我的 Facebook 帐户的应用程序并且没有什么异常,所以我认为这不是第 3 方应用程序(如果需要,我可以提供一个列表,但它们都是大牌应用程序)
在我检查日志文件的过程中,Facebook 似乎并没有智能地创建这些请求,它只是盲目地将字符串粘贴在/no_facebook_preview_picture.jpg
URL 的末尾,即使是查询字符串也是如此。例如;
69.171.228.114 - - [05/Feb/2013:17:19:13 +0000] "GET /iAmNotARealURL1234777?ref=fb&cows_go=moo HTTP/1.1" 404 1118 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"
69.171.228.114 - - [05/Feb/2013:17:19:13 +0000] "GET /iamnotarealurl1234777 HTTP/1.1" 404 1118 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"
173.252.103.4 - - [05/Feb/2013:17:44:41 +0000] "GET /iAmNotARealURL1234777?ref=fb&cows_go=moo/no_facebook_preview_picture.jpg HTTP/1.1" 404 1118 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"
谷歌似乎显示了很多随机结果,主要来自链接发起者,但我找不到任何关于这些请求是什么的信息。
这些要求是什么?Facebook 需要它们做什么?这是我们的应用程序中的错误还是可以安全地忽略这些请求?
更新:
有时我们现在对这些 URL 有 2-300 次点击
[sr@ns309372 nginx]$ for DAYLOG in `find ./ | grep "dftbashort.log-"`; do COUNT=`cat $DAYLOG | grep no_facebook_preview_picture | wc -l`; echo "${DAYLOG} has ${COUNT} occurences"; done
./dftbashort.log-20130201 has 0 occurences
./dftbashort.log-20130130 has 2 occurences
./dftbashort.log-20130129 has 2 occurences
./dftbashort.log-20130128 has 2 occurences
./dftbashort.log-20130202 has 378 occurences
./dftbashort.log-20130207 has 222 occurences
./dftbashort.log-20130205 has 257 occurences
./dftbashort.log-20130209 has 178 occurences
./dftbashort.log-20130131 has 2 occurences
./dftbashort.log-20130203 has 266 occurences
./dftbashort.log-20130206 has 667 occurences
./dftbashort.log-20130204 has 12 occurences
./dftbashort.log-20130127 has 4 occurences
./dftbashort.log-20130208 has 260 occurences
我们不提供任何开放图元标记,并且该页面除了元/javascript 重定向之外没有其他内容。