twitter - 如何并行查询 Twitter 时间线？

Question

我正在构建一个 Twitter 应用程序，我将从用户的时间线中提取大量数据。为了速度，我需要并行查询时间线。我的目标是从 API 中提取 1000 条用户的推文，但 Twitter API 将每个请求的推文数量上限设置为 200。分页通过指定上一个请求中最后一个（最旧的）推文的 ID 来工作，所以我需要知道上一个 API 调用的结果才能进行下一个调用。此方法不可并行化。是否有任何替代方法可以从 Twitter API 获取用户时间线，我可以在其中发出并行请求（有该page属性，但已弃用，并且在不久的将来将无法使用）。

Answer 1

你必须记住的是，Twitter 与外部开发人员的关系很艰难。他们根本不允许将他们的 API 用于任何有趣的事情。

您需要的是访问Firehose。

然而，即使你愿意每年支付一百万美元——Twitter 也不感兴趣。

您可以尝试从Gnip之类的第三方获取它，但 - 再次 - 可能很昂贵。

所以，基本上，你不能。Twitter 只是对业余开发者在他们的平台上做任何创新的东西不感兴趣。对不起。