9

我正在尝试使用 ruby​​ gem Twitter ( https://github.com/sferik/twitter ) 从 twitter api 获取用户的关注者。

根据文档 ( https://dev.twitter.com/docs/api/1/get/followers/ids)，twitter在一个请求中返回 5000 个用户。根据速率限制设置，twitter 允许我每 15 分钟拨打 15 次电话（https://dev.twitter.com/docs/rate-limiting/1.1/limits）

问题：

当我检索拥有超过 75000 个关注者 (5000*15) 的用户的关注者时，我收到“超出速率限制”错误。

当我使用 gem 方法 Twitter.followers_id(user) 时，我会自动获得所有关注者，而不是在 5000 个带有光标的存储桶中。我猜 gem 会在内部处理这个问题，因此我无法控制或延迟这些请求。

在 gem 文档中有一个速率限制的例子（https://github.com/sferik/twitter#rate-limiting），但我不知道这是否会照顾已经检索到的用户或再次从头开始。

我的问题是如何以及何时对此应用节流机制以吸引所有追随者？

问候

4

2 回答 2

7

这个问题的解决方法在这里解释得很好。

MAX_ATTEMPTS = 3
num_attempts = 0
begin
  num_attempts += 1
  retweets = Twitter.retweeted_by_user("sferik")
rescue Twitter::Error::TooManyRequests => error
  if num_attempts <= MAX_ATTEMPTS
    # NOTE: Your process could go to sleep for up to 15 minutes but if you
    # retry any sooner, it will almost certainly fail with the same exception.
        sleep error.rate_limit.reset_in
    retry
  else
    raise
  end
end
于 2013-08-17T04:42:24.903 回答
0

在位于 lib/twitter/api/utils.rb 的 Twitter gem 中的 cursor_from_response_with_user 方法中添加一个 sleep 命令

https://github.com/sferik/twitter/blob/master/lib/twitter/api/utils.rb

def cursor_from_response_with_user(collection_name, klass, request_method, path, args, method_name)
  puts "sleeping 60"
  sleep 60
  arguments = Twitter::API::Arguments.new(args)
  merge_user!(arguments.options, arguments.pop || screen_name) unless arguments.options[:user_id] || arguments.options[:screen_name]
  cursor_from_response(collection_name, klass, request_method, path, arguments.options, method_name)
end

每个游标响应至少需要 60 秒，因此您不会超过每 15 分钟的 15 个请求。这有点像 hack，但在这个问题被排序为 75K+ follower_ids 之前它会起作用。

于 2013-06-13T00:41:15.387 回答