我在 AWS 上有一个简单的工作，需要超过 25 分钟。我将 DPU 的数量从 10 更改为 100（允许的最大值），该作业仍然需要 13 分钟。
关于提高性能的任何其他建议？
问问题
2376 次
3 回答
2
我注意到了同样的行为。
我的理解是，工作时间包括启动 EMR 集群，这需要几分钟。因此，如果需要.. 说 8 分钟（只是猜测），那么您的工作时间会从 17 -> 5。
于 2017-12-12T16:05:56.680 回答
1
我们可以看看你的工作吗？有时简单的可能没有性能。我们发现像使用 DynamicFrame.map 转换这样简单的事情真的很慢，最好使用 tmp 表并使用 SQLContext 映射数据
于 2017-12-15T14:01:28.123 回答
1
除非 CPU 或内存是您现有工作的瓶颈，否则添加更多 DPU（即更多 CPU 和内存）不会显着使您的工作受益。至少好处不会是线性的，即 10 倍的 DPU 并不意味着作业的运行速度会快 10 倍。
我建议您逐渐增加 DPU 的数量以查看性能提升，您会注意到在某个点之后添加更多 DPU 不会对性能产生重大影响，这可能是适合您工作的 DPU 数量。
于 2019-08-02T00:29:30.723 回答