java - 用 oozie 触发 Pig 作业

Question

registerQuery()我有一个 java 代码，其中使用类的方法嵌入了 pig 语句PigServer。现在我准备了一个 jar，我可以将它作为 运行hadoop jar jarname，但问题是如何使用oozie调度程序触发相同的作业。尽管它是内部的 map reduce 起作用，但我们不能将其称为 map reduce 操作。同样，因为它不是猪动作，我们也不能设置它。是否可以使用 oozie 运行这样的任务？安排此类任务的最佳方式是什么？

Answer 1

似乎您尝试做的不是 Oozie 支持的功能的一部分。由于您的任务既不是典型的 Java Map Reduce 也不是猪操作，您最好使用操作系统提供的 crontab 功能来安排您的作业或使用 Spring 调度程序。

Hadoop 也有一个 spring 发行版，称为Spring Data - Apache Hadoop，它提供了内置的调度功能。

Answer 2

Oozie MapReduce操作的目的是运行诸如“hadoop jar ...”之类的作业。

该文档详细介绍了它，并且一些 Hue教程演示了如何运行 Oozie 作业。