10

我们运行了一个 URL 缩短器,在过去一周左右,我们开始看到{normal url}/no_facebook_preview_picture.jpg来自 Facebook 拥有的 IP 和用户代理的许多奇怪请求facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)

如果我在墙上发布了指向我们网站的正常链接(设置为Only Me我可以测试),我会在访问日志中看到以下条目

66.220.152.6 - - [05/Feb/2013:16:31:36 +0000] "GET /44_U HTTP/1.1" 200 1314 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"

但是,如果我发布返回 404 或 410 的链接(创建后删除垃圾邮件链接),我会得到这个

69.171.237.15 - - [05/Feb/2013:16:49:16 +0000] "GET /notexistURL HTTP/1.1" 404 1319 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"

然后在一个小时左右

173.252.110.113 - - [05/Feb/2013:17:15:15 +0000] "GET /notexistURL/no_facebook_preview_picture.jpg HTTP/1.1" 404 0 "-" "facebookexternalhit/1.0 (+http://www.facebook.com/externalhit_uatext.php)" "-"

该 IP 的 WhoIs 报告

NetName FACEBOOK-INC
NetHandle   NET-173-252-64-0-1

所以它们绝对是 Facebook 的 IP。

我们每天会收到大约 10 到 20 个这样的请求,而且都是一样的。我们只能取回 7 天的日志文件,但这些请求是在 7 天前发生的。

我已经测试了唯一的链接,因此没有其他方法可以找到该链接。我个人不太使用 Facebook,除了我的测试链接之外的所有链接都是由其他用户创建/发布的,但我认识到所有链接到我的 Facebook 帐户的应用程序并且没有什么异常,所以我认为这不是第 3 方应用程序(如果需要,我可以提供一个列表,但它们都是大牌应用程序)

在我检查日志文件的过程中,Facebook 似乎并没有智能地创建这些请求,它只是盲目地将字符串粘贴在/no_facebook_preview_picture.jpgURL 的末尾,即使是查询字符串也是如此。例如;

69.171.228.114 - - [05/Feb/2013:17:19:13 +0000] "GET /iAmNotARealURL1234777?ref=fb&cows_go=moo HTTP/1.1" 404 1118 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"
69.171.228.114 - - [05/Feb/2013:17:19:13 +0000] "GET /iamnotarealurl1234777 HTTP/1.1" 404 1118 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"
173.252.103.4 - - [05/Feb/2013:17:44:41 +0000] "GET /iAmNotARealURL1234777?ref=fb&cows_go=moo/no_facebook_preview_picture.jpg HTTP/1.1" 404 1118 "-" "facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)" "-"

谷歌似乎显示了很多随机结果,主要来自链接发起者,但我找不到任何关于这些请求是什么的信息。

这些要求是什么?Facebook 需要它们做什么?这是我们的应用程序中的错误还是可以安全地忽略这些请求?

更新:

有时我们现在对这些 URL 有 2-300 次点击

[sr@ns309372 nginx]$ for DAYLOG in `find ./ | grep "dftbashort.log-"`; do COUNT=`cat $DAYLOG | grep no_facebook_preview_picture | wc -l`; echo "${DAYLOG} has ${COUNT} occurences"; done
./dftbashort.log-20130201 has 0 occurences
./dftbashort.log-20130130 has 2 occurences
./dftbashort.log-20130129 has 2 occurences
./dftbashort.log-20130128 has 2 occurences
./dftbashort.log-20130202 has 378 occurences
./dftbashort.log-20130207 has 222 occurences
./dftbashort.log-20130205 has 257 occurences
./dftbashort.log-20130209 has 178 occurences
./dftbashort.log-20130131 has 2 occurences
./dftbashort.log-20130203 has 266 occurences
./dftbashort.log-20130206 has 667 occurences
./dftbashort.log-20130204 has 12 occurences
./dftbashort.log-20130127 has 4 occurences
./dftbashort.log-20130208 has 260 occurences

我们不提供任何开放图元标记,并且该页面除了元/javascript 重定向之外没有其他内容。

4

2 回答 2

2

我很确定这是试图构建 URL 预览的共享抓取工具,通过Facebook 的调试工具运行 URL ,你会看到 Facebook 看到/正在寻找什么

我不确定/notexistURL/no_facebook_preview_picture.jpg请求是什么,假设您的代码中没有任何内容指向这样的 URL;如果我不得不猜测,我会说这是在没有元标记时使用的某种默认或后备;可能是一个错误 - 如果您为 Facebook 包含正确的元标记,我相当有信心,它会抓取这些而不发出无效请求,并且您的 URL 共享在 Facebook.com 和其他支持的网站上看起来更好的额外好处相同的标签

于 2013-02-09T15:33:52.737 回答
0

今天早上我遇到了同样的事情并做了一些挖掘。您可以使用本网站上的信息来帮助指导您朝着正确的方向前进。似乎有助于我的网站被这些错误杀死。

于 2014-12-14T14:47:36.570 回答