在我的研究中,我想使用一些可以捕获互相关注的 Twitter 用户的数据。我想在一个大的有向图中表示这种关系。如果您考虑这个图,它可能非常大,我想生成它并可能以邻接矩阵格式存储它。
但是,当我尝试使用 Twitter 的 API 时,有一些有用的方法,例如 GET 关注者,GET 朋友我可以使用。但它有 150 个查询/小时的限制。以这样的速度,我永远不会完成对 Twitter 的爬取并生成足够好的直接图。
有没有更好的方法来做到这一点?
我记得我的一个朋友联系了这个研究小组,他们为她提供了一个数据集。 http://twitter.mpi-sws.org/
也许您应该尝试找到一个数据集。试试这个 SO question,答案提供了一些数据集。
Tribalytics-raw提供 Twitter 关注者和/或朋友的原始图形数据作为服务。
为遵守 Twitter API 的服务条款,仅提供 Twitter 用户 ID。您可以使用 twitter 的users/lookup
API 端点自行提取用户元数据,该端点对速率的限制并不那么严格。
完全披露:我是这个工具的创始人,在发布之前我已经阅读了这个