我需要在我们的生产集群中安排一个作业。我正在尝试根据过去 30 天的集群负载情况在预计集群空闲的时间安排它。Oozie 没有任何支持这一点的功能的盒子。我正在尝试使用 oozie 中的一些技巧来实现这一点。
是否有任何标准方法可以找到过去几天集群通常何时免费?并每天自动提交该时间的作业。
我需要在我们的生产集群中安排一个作业。我正在尝试根据过去 30 天的集群负载情况在预计集群空闲的时间安排它。Oozie 没有任何支持这一点的功能的盒子。我正在尝试使用 oozie 中的一些技巧来实现这一点。
是否有任何标准方法可以找到过去几天集群通常何时免费?并每天自动提交该时间的作业。
Linkedin 白象似乎是你要找的那个。Ganglia 有很好的 API 来衡量集群的使用情况,你可以使用它。
You can use Cloudera manager for checking the complete cluster health (if you are using CDH).
There are Cloudera Manager APIs to interact. you can look at that also to get your work-around.
http://blog.cloudera.com/blog/2012/09/automating-your-cluster-with-cloudera-manager-api/