我正在处理大量文件,如下所示:我首先将它们全部下载到 EC2 实例,然后运行一个脚本,该脚本顺序处理每个文件并将其索引到 DynamoDDB 表中(表中的每个项目对应于一行在一个文件中)。然后我下载下一批文件等。
现在我通过 AWS GUI 控制台调整预置吞吐量,它最终在下载阶段和索引阶段都是相同的。显然,这是次优的,因为在下载时我根本不与数据库交谈,所以我在此阶段所需的写入吞吐量基本上为 0。
所以我想要做的是在我开始索引时以编程方式调整预置吞吐量,然后在我停止索引并开始下载时降低。
我可以在单个请求中增加多少写入 t/p 是否有任何限制?例如,我可以将它从 5 更改为 120 吗?如果不是,我如何计算请求数量和将 t/p 从值 X 调整到值 Y(其中 X << Y)所需的时间?我是否必须为降低 t/p 做类似的计算?
我正在使用 Python 博托。
谢谢