1

我们正在尝试在 Amazon EC2 上的高 I/O 实例中运行 ETL 进程。在装备精良的笔记本电脑（带有 SSD）上本地执行相同的过程大约需要 1/6 的时间。这个过程基本上是将数据（大约 3000 万行）从平面表转换为同一个 Oracle 实例中的第 3 范式模式。

关于什么可能会减慢我们的速度的任何想法？

4

1 回答 1

0

或者另一种选择是简单地离开 AWS 并在 Rackspace 之类的地方租用带有 SSD 的坚固盒子（原始硬件）。

我们已将大部分 ETL 流程从 AWS/EMR 中移出。我们将大部分内容托管在 Rackspace 上，并获得更多的 CPU/存储/性能。不要误会我的意思，AWS 很棒，但有一点是不划算的。最重要的是，您永远不知道他们如何真正管理/虚拟化适用于您的特定应用程序的硬件。

我的两分钱。

于 2013-12-05T00:08:37.147 回答