我想安排一些夜间 EMR 任务并运行自定义脚本:
有些需要在临时实例上运行,有些则需要在运行服务器本身的临时实例上运行,因此仅当 cpu / 内存阈值低于某个百分比时才需要运行。
你怎么做?没有 24 小时运行的实例来协调所有这些,这个过程如何扩展?
另外,你如何创建流程(这个工作需要在那个之后运行,只有在它成功的情况下,否则不要运行),你可以自动输出到 S3 吗?
有没有例子?我遇到了http://aws.amazon.com/swf/但仍然不确定这是否是我所追求的... tnx
我想安排一些夜间 EMR 任务并运行自定义脚本:
有些需要在临时实例上运行,有些则需要在运行服务器本身的临时实例上运行,因此仅当 cpu / 内存阈值低于某个百分比时才需要运行。
你怎么做?没有 24 小时运行的实例来协调所有这些,这个过程如何扩展?
另外,你如何创建流程(这个工作需要在那个之后运行,只有在它成功的情况下,否则不要运行),你可以自动输出到 S3 吗?
有没有例子?我遇到了http://aws.amazon.com/swf/但仍然不确定这是否是我所追求的... tnx