amazon-web-services - 将 10 亿行插入 AWS RDS 的最便宜方法

Question

我需要将 10 亿行数据从本地机器导入 AWS RDS。

本地机器具有高速互联网连接，最高可达 100MB/s。所以，网络不是问题。

我正在使用具有 2000 PIOPS 和 300GB 存储空间的 AWS RDS r3.xlarge。

但是，由于我的 PIOPS 停留在 2000，为了导入 10 亿行，大约需要 7 天。

如何在不支付更多费用的情况下加快流程？

非常感谢。

Answer 1

您的 PIOPS 是您的数据库实例的底层 IO 配置 - 即操作系统保证每秒能够发送到持久存储的数据量。您可以通过使用更大的写入批次（取决于您的数据库支持的内容）来稍微优化它，但从根本上说，它限制了可用于导入的字节/秒数量。

不过，您可以为导入配置更多 IO，然后按比例缩小。