我知道我们可以竞标现货实例并以低于常规实例的价格获得它们,但是对于现货实例,您的实例存在被收回的风险。
我想知道有什么方法可以确保只有在我们的工作完成后才将它们带走?
我知道我们可以竞标现货实例并以低于常规实例的价格获得它们,但是对于现货实例,您的实例存在被收回的风险。
我想知道有什么方法可以确保只有在我们的工作完成后才将它们带走?
“确保”它的唯一方法是出价非常非常非常高!
但实际上,如您所知,如果您请求 Spot 实例,请记住,如果当前 Spot 价格超过您的最高出价,则不会预置任何一个实例,或者将其从当前工作流中删除。为了避免完全丢失工作流,可以创建多个实例组,其中该CORE
组是传统按需系统的较小补充,并且该TASK
组是现场实例组。在此配置中,该TASK
组将仅使作业流的映射器阶段受益,因为来自该TASK
组的工作“移交”给该CORE
组以进行缩减。
所以说如果你必须运行一个理想情况下需要 40 台从机的作业,那么你可以说 10 台机器(CORE 组)作为传统实例,而其他 30 台作为现场实例(TASK 组)。创建多个实例组的语法如下:
elastic-mapreduce --create --alive --plain-output
...
--instance-group master --instance-type m1.small --instance-count 1 \
--instance-group core --instance-type m1.small --instance-count 10 \
--instance-group task --instance-type m1.small --instance-count 30 --bid-price 0.018