hadoop - 如何使用 BMC Control-M 安排 hadoop 作业？

Question

有人知道如何使用 BMC Control-M 软件控制/调度 Hadoop 作业吗？甚至可能吗？

我已经尝试过 Ooozie 并想探索更多安排 hadoop 作业的选项。

请赐教！

Answer 1

答案是肯定的。

这个答案会变得更好。

今天，您可以使用各种 Hadoop 组件提供的丰富命令行界面。然后，您可以将这些 CLI 作为命令单独运行，或者将它们组合到直接嵌入到 Control-M 作业中或包装在 shell 脚本（Bash 是一种流行的脚本）中并使用 Control-M 进行调度的脚本中。我提供了一个示例脚本，它执行一些 HDFS 操作，然后运行 ​​MapReduce 作业。

更好的部分将在几个月后发布，届时我们将发布对 Hadoop 的集成支持。那时（我假设您熟悉 BMC Control-M）我们将提供类似于我们其他 CM 的图形表单，用于定义各种作业类型（Pig、Hive、MapReduce 都在考虑中，但我不确定是什么将实际实施），对状态监控、作业输出检索等的集成支持。

我们已经收到了许多使用 Control-M 来管理其 Hadoop 环境的客户的反馈。

除了运行 Hadoop 作业的“机制”之外，您还可以获得 Control-M 管理图形流的功能、与广泛的平台和应用程序的集成、管理服务级别、预测、审计、报告等的能力。

我很乐意与您进一步讨论这个问题，特别是因为我们仍处于这项工作的早期阶段，我们很想了解您在这方面的要求。请发送邮件至 joe_goldberg@bmc.com，我很乐意安排电话会议或演示。

#!/bin/csh
#
cd /h/gron/java/hadoop/hadoop-1.0.3
bin/hadoop dfs -rmr  output_$UUID 'dfs[a-z.]+'
bin/hadoop  jar  hadoop-examples-1.0.3.jar  grep input output_$UUID 'dfs[a-z.]+'