我正在从事的项目从 3rd 方 API(如 Facebook、Twitter 等)收集数据。来自这些 API 的数据以对象或数组的形式返回,我们需要一种方法来归档这些数据,以防我们以后想通过 PHP 访问/读取/处理它(几个月或更长时间)。
我正在考虑使用 AWS 的 DynamoDB 和 json_encode 数组并为每个“项目”创建一个记录(例如:Facebook 上的一个帖子,其所有属性都作为数组),但是,我不确定这是否是最好的处理方式它。每天将记录数千个“项目”,我们确实需要能够在稍后返回并读取这些数据(通过 PHP),同时仍将数据归因于一些值,例如用户帐户,项目 ID(例如:Facebook 粉丝页面 ID、Twitter 用户帐户等)和数据被拉取的时间戳,因此我们可以在必要时获取特定项目。
保存这些数据的最佳方法是什么,主要用于存档目的,但如果/在必要时还保留查找特定数据的能力?我们需要快速(在写入和读取/查询/搜索方面)和可扩展的东西,可以随着时间的推移处理大量数据。提议的解决方案的建议和示例将不胜感激。