oozie - 如何使用 oozie 安排 sqoop 操作

Question

我是 Oozie 的新手，只是想知道 - 如何使用 Oozie 安排 sqoop 作业。我知道可以将 sqoop 操作添加为 Oozie 工作流程的一部分。但是我如何安排一个 sqoop 操作并让它像每天每 2 分钟或晚上 8 点自动运行（只是一个 cron 作业）？

Answer 1

您需要创建带有开始、结束和频率的 coordinator.xml 文件。这是一个例子

<coordinator-app name="example-coord" xmlns="uri:oozie:coordinator:0.2"

             frequency="${coord:days(7)}"
             start="${start}"
             end=  "${end}"

             timezone="America/New_York">

  <controls>
    <timeout>5</timeout>
  </controls>

  <action>
    <workflow>
        <app-path>${wf_application_path}</app-path>
    </workflow>
  </action>
</coordinator-app>

然后像这样创建 coordinator.properties 文件：

host=namenode01
nameNode=hdfs://${host}:8020

wf_application_path=${nameNode}/oozie/deployments/example
oozie.coord.application.path=${wf_application_path}

start=2013-07-13T07:00Z
end=2013-09-31T23:59Z

将您的 coordinator.xml 文件上传到 hdfs，然后使用类似的东西提交您的协调员作业

oozie job -config coordinator.properties -run

检查文档http://oozie.apache.org/docs/3.3.2/CoordinatorFunctionalSpec.html它包含一些示例。

Answer 2

我认为以下博客将非常有用..

http://www.tanzirmusabbir.com/2013/05/chunk-data-import-incremental-import-in.html