我正在开发一个 url 缩短器，当前的规范要求避免 Facebook 抓取这些链接，而是一个集成的抓取器会这样做并将 og 元标签交给 Facebook。Facebook 术语中是否有任何内容不允许我使用与普通用户看到的内容不同的内容（例如，仅带有 opengraph 元标记的空白页面）回复其抓取工具？
提前致谢。
问问题
1583 次
1 回答
4
我刚刚在我的网站上做了这个。我正在将非移动设备重定向到另一个页面，但希望 facebook 刮板获取移动设备可以获得的内容。
这是我得到的用户代理：
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
因此，与这样的常规模式匹配应该会检测到 facebook 刮板。
/^(facebookexternalhit.*)/
如上所述，这个用户代理很容易被欺骗，在我的情况下，这并不重要。
如果 facebook 更改其爬网脚本的用户代理，则只会出现问题。
于 2012-10-02T13:34:53.240 回答