0

我有一个 oozie 工作流程，它调用 sqoop 和 hive 操作。当我从命令行运行 oozie 时，这个单独的工作流程运行良好。由于 sqoop 和 hive 脚本不同，我使用 job.properties 文件将值传递给 workflow.xml。

sudo oozie job -oozie http://hostname:port/ oozie -config job.properties -run

现在我想在 Falcon 中配置这个 oozie 工作流。你能帮我弄清楚我可以在哪里配置或传递job.properties吗？

下面是猎鹰process.xml

<process name="demoProcess" xmlns="uri:falcon:process:0.1">
<tags>pipeline=degIngestDataPipeline,owner=hadoop, externalSystem=svServers</tags>
<clusters>
    <cluster name="demoCluster">
        <validity start="2015-01-30T00:00Z" end="2016-02-28T00:00Z"/>
    </cluster>
</clusters>
<parallel>1</parallel>
<order>FIFO</order>
<frequency>hours(1)</frequency>
<outputs>
    <output name="output" feed="demoFeed" instance="now(0,0)" />
</outputs>

<workflow name="dev-wf" version="0.2.07"
engine="oozie" path="/apps/demo/workflow.xml" />

<retry policy="periodic" delay="minutes(15)" attempts="3" />
</process>

我在网上或有关此的 falcon 文档上找不到太多帮助。

4

2 回答 2

0

我在 falcon 中进行了一些开发，但没有尝试过很多 falcon vanilla，但是根据我从下面的教程中了解到的：

http://hortonworks.com/hadoop-tutorial/defining-processing-data-end-end-data-pipeline-apache-falcon/

我会尝试创建动态接受 job.properties 的 oozie-workflow.xml。将属性文件放在相应的 HDFS 文件夹中，workflow.xml 从中选择它，您可以为每个进程更改它。现在您可以使用您的 falcon process.xml 并使用以下命令从命令行调用它：

猎鹰实体 - 类型进程 - 提交 - 文件 process.xml

同样在 path=/apps/demo/workflow.xml 中，您无需明确指定 workflow.xml。您可以只给出文件夹名称，例如：

<process name="rawEmailIngestProcess" xmlns="uri:falcon:process:0.1">

<tags>pipeline=churnAnalysisDataPipeline,owner=ETLGroup,externalSystem=USWestEmailServers</tags>


<clusters>
    <cluster name="primaryCluster">
        <validity start="2014-02-28T00:00Z" end="2016-03-31T00:00Z"/>
    </cluster>
</clusters>

<parallel>1</parallel>
<order>FIFO</order>
<frequency>hours(1)</frequency>

<outputs>
    <output name="output" feed="rawEmailFeed" instance="now(0,0)" />
</outputs>

<workflow name="emailIngestWorkflow" version="2.0.0"
engine="oozie" path="/user/ambari-qa/falcon/demo/apps/ingest/fs" />

<retry policy="periodic" delay="minutes(15)" attempts="3" />

于 2015-04-21T13:51:08.840 回答
0

再想一想，我觉得您可以创建一个带有 shell 操作的 oozie 来调用 sqoop_hive.sh，其中包含以下代码行：

sudo oozie job -oozie http://hostname:port/ oozie -config job.properties -run。

Workflow.xml 看起来像：

<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf">
<start to="shell-node"/>
<action name="shell-node">
    <shell xmlns="uri:oozie:shell-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>${queueName}</value>
            </property>
        </configuration>
        <exec>sqoop_hive.sh</exec>
        <argument>${feedInstancePaths}</argument>
        <file>${wf:appPath()}/sqoop_hive.sh#sqoop_hive.sh</file>
        <!-- <file>/tmp/ingest.sh#ingest.sh</file> -->
        <!-- <capture-output/> -->
    </shell>
    <ok to="end"/>
    <error to="fail"/>
</action>
<kill name="fail">
    <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>

使用 falcon 进程调用来调用它，例如：

猎鹰实体 - 类型进程 - 提交 - 文件 process.xml。如果您在 oozie 中创建一个 shell 操作，该操作在 shell 脚本的命令行中调用 oozie，则可以在本地更改 job.properties。

于 2015-04-21T14:48:47.670 回答