alibaba-cloud - 如何在 Oozie 中的非 HA 集群上提交工作流作业

Question

在 E-MapReduce 集群中，Oozie 用户在阿里云 ECS 中默认安装了 sharelib。

我想在非 HA 集群上提交工作流作业。任何人都可以帮助我实现这一目标。

我很感激这方面的任何帮助。

Answer 1

由于启用和未启用 HA 的集群访问 NameNode 和 ResourceManager 的模式不同，请按照以下步骤提交工作流作业。

Step1：在job.properties文件中配置NameNode和JobTracker。

nameNode=hdfs://emr-header-1:9000

jobTracker=emr-header-1:8032

Step2：提交工作流作业

1. 登录到集群的主主节点。

   ssh root@publicIp_of_master
   

2. 从OSS下载代码

   [root@emr-header-1 ~]# su oozie
   [oozie@emr-header-1 root]$ cd /tmp
   [oozie@emr-header-1 tmp]$ wget http://OSS PATH/oozie-examples.zip
   [oozie@emr-header-1 tmp]$ unzip oozie-examples.zip
   

3. 将 Oozie 工作流代码同步到 hdfs。

   [oozie@emr-header-1 tmp]$ hadoop fs -copyFromLocal examples/ /user/oozie/examples
   

4. 提交 Oozie 工作流示例作业。

   [oozie@emr-header-1 tmp]$ $OOZIE_HOME/bin/oozie job -config examples/apps/map-reduce/job.properties -run
   

注意：执行成功后会返回一个jobId。