我正在为开放图形发布做准备。
开放图的功能之一是抓取网站的元数据并提取时间线的相关信息。
我的 sitemap.xml 运行在 gigs 中，并受到 Googlebot 和 Slurp 等流行爬虫的速率限制和 IP 白名单保护。
有人可以将要为 facebook 抓取的机器人名称和 ips 传递给我吗？这不仅适用于 sitemap.xml，也适用于一般速率限制（整个站点）白名单。
问问题
1862 次
1 回答
5
当前的用户代理是：facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
Facebook在这里公布他们的 IP 范围。
于 2011-10-01T14:38:03.363 回答