0

我们的网站 Beso.com 每月有 3MM 的 UV，已开始每天多次受到 Facebook 的爬虫/抓取工具的攻击，导致我们网站的性能严重下降。我们最近实施了 Open Graph，并鼓励在我们的网站上进行大量的分享和点赞，以及 Facebook Connect。

我知道 FB 需要访问我们的网站来抓取信息，但我们迫切需要他们来降低抓取速度，否则我们将被迫完全阻止它。这不是我们希望采用的解决方案。

这个网站上是否有任何来自 FB 的人可以将我们与合适的团队成员联系起来，或者来自已建立网站的任何人之前曾与这个​​问题作过斗争？

谢谢。

4

1 回答 1

1

Facebook 每天抓取一次打开的图形对象。我可以想到一个网站被过度抓取的两个可能原因......

1) 你有一个应用程序来实现打开图形操作。创建该应用程序的程序员不小心将scrape 可选参数永久设置为true。见这里： https ://developers.facebook.com/docs/opengraph/actions/

2) 一个页面——应该是一个打开的图形对象——有多个 URL，这样 Facebook 就会一遍又一遍地重新抓取相同的材料。

于 2012-07-30T22:09:35.173 回答