我是 AWS 新手。我通过 AWS 控制台使用 Auto Scaling 策略创建了一个 EMR 集群。我还创建了一个数据管道，可以使用这个集群来执行活动。
我还可以通过数据管道动态创建 EMR 集群。但是在执行此操作时，我无法将 Auto Scaling Rule 分配给 EMR 集群。有没有办法通过数据管道为 EMR 集群配置 Auto Scaling 角色和其他所需的配置
问问题
718 次
1 回答
0
无法让 AWS Data Pipeline 使用 Auto Scaling 启动 Amazon EMR 集群。
也不是真的必要。
AWS Data Pipeline启动一个 Amazon EMR 集群来执行一些工作，例如转换数据或在系统之间移动数据。一旦这样的任务完成，集群就会终止。这被称为瞬态集群。
这是一个与长期运行的 Amazon EMR 集群截然不同的用例，该集群全天接受临时作业，并且可以利用 Auto Scaling 根据需求添加/删除容量。
因此，实际上不需要将 Auto Scaling 添加到由 Data Pipeline 启动的 EMR 集群中。相反，请预先指定容量，它将在作业期间使用。
于 2017-07-31T11:02:16.153 回答