我正在尝试安装一个可以将作业提交到多个 Hadoop 集群的 Oozie 服务器。我没有遇到任何这样的部署,但我看不出它为什么不能完成。但到目前为止,我还没有成功地做到这一点。
这就是我正在做的事情:我在一台机器(OZ-1)上安装了 Oozie 和其他 Hadoop 组件。我的笔记本电脑上有一个 Oozie 客户端(OZ-Client-1)。现在我想将 Pig 作业提交到 Hadoop 集群 (HD-1)。
- 我创建了一个 workflow.xml 文件并将其放在 OZ-1 的 HDFS 中
我在 OZ-Client-1 上创建了 job.properties,它定义了以下属性:
nameNode=hdfs:HD-1:PORT
jobTracker=HD-1:PORT
queueName=default
examplesRoot=examples
oozie.use.system.libpath=true
oozie.wf.application.path=OZ-1/path/to/workflow.xml
我将要运行的 Pig 脚本复制到 OZ-1 的 HDFS。
- 现在,我从客户端 OZ-Client-1 提交 Oozie 作业
- 输入数据已经存在于 Hadoop 集群中:HD-1
我遵循的步骤有什么问题吗?这不起作用,我在 Oozie 客户端上得到以下日志:
Actions
------------------------------------------------------------------------------------------------------------------------------------
ID Status Ext ID Ext Status Err Code
------------------------------------------------------------------------------------------------------------------------------------
0000001-131020152954824-oozie-shar-W@:start: OK - OK -
------------------------------------------------------------------------------------------------------------------------------------
0000001-131020152954824-oozie-shar-W@pig-node START_RETRY- - JA009
------------------------------------------------------------------------------------------------------------------------------------