0

我刚刚运行了 Elastic Map reduce 示例应用程序：“Apache 日志处理”

默认值：当我使用默认配置（2 个小型核心实例）运行时 - 花了 19 分钟

Scale Out：然后我使用配置运行它：8 个小型核心实例 - 花了 18 分钟

扩大规模：然后我使用配置运行它：2 个大型核心实例 - 花了 14 分钟。

当我们拥有更大的数据集时，如何看待纵向扩展和横向扩展的性能？

谢谢。

4

1 回答 1

0

我会说这取决于。我通常发现使用 m1.large 和 m1.xlarge 实例的原始处理速度要好得多。除此之外，正如您所注意到的，相同的工作可能会以相同的摊销或标准化实例小时数来完成。

对于您的工作，您可能希望首先尝试使用较小的样本数据集，看看需要多少时间，然后估计使用大型数据集完成完整工作需要多长时间。我发现这是估算工作完成时间的最佳方法。

于 2012-05-22T15:22:05.513 回答