0

总的来说，我是 AWS 和云服务的新手。我打算做的是不断地从第三方 API 获取数据，该 API 一次以 JSON 格式返回结果（每个 3-5 MB），并将结果转储到 S3 存储桶中。我想自动化这个过程，我目前的解决方案是在 EC2 实例上运行 python 脚本以获取结果并传输到 S3 存储桶，就像我在本地手动执行的操作一样。这是实现此类数据收集的方式吗？由于我是新手，我想留在免费套餐内。提前致谢。

4

1 回答 1

1

您尚未提供 API 响应的典型大小。据我了解，这是一个实验项目。我希望这些提示会有所帮助：

  • 查看aws 免费套餐页面
  • 使用 t2.micro
  • 在 aws 上设置账单提醒 - 任何事情都有可能发生，支付 5 美元仍然比支付 500 美元要好。

我不确定你是否已经在使用 s3，但这些也是需要考虑的一些事情：

  • 计算您将以 MB 为单位存储的数据量
  • 在 s3 上设置生命周期策略以删除 N 天前的对象（除非您需要它们）。
  • 确保版本控制已关闭（除非您需要它）

来自文档：注册后，新 AWS 客户在一年内每月收到 5 GB标准存储类的 Amazon S3 存储、20,000 个 Get 请求、2,000 个 Put 请求和 15 GB 数据传输

因此，您可能希望将对象分批放入 s3（我的意思是一个对象将包含来自 API 的多个响应）。如果脚本每秒运行一次并将对象推送到 s3，那么看起来 2000 个免费放置请求是瓶颈。

s3的价格

祝你好运 ：）

于 2019-03-19T16:22:35.313 回答