0

我有一个执行 distcp 操作的 oozie 工作流程。工作流文件如下：

<workflow-app xmlns="uri:oozie:workflow:0.3" name="distcp-wf">
<start to="distcp-node"/>
<action name="distcp-node">
    <distcp xmlns="uri:oozie:distcp-action:0.1">
        <job-tracker>${jobtracker}</job-tracker>
        <name-node>${namenode}</name-node>
        <prepare>
            <delete path="${namenode}/tmp/mohit/"/>
        </prepare>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>${queue_name}</value>
            </property>
        </configuration>
        <arg>-m 1</arg>
        <arg>${number_of_mapper}</arg>
        <arg>-skipcrccheck</arg>
        <arg>${namenode}/tmp/mohit/data.txt</arg>
        </distcp>
    <ok to="end"/>
    <error to="fail"/>
</action>
<kill name="fail">
    <message>DistCP failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end"/>

我想使用 distcp 使用 -m 设置映射器的数量。我该怎么做？

<arg>-m 1</arg>

和

<arg>1<arg>

但对我没有用。我得到的错误如下：

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.DistcpMain], main() threw exception, Returned value from distcp is non-zero (-1)
      java.lang.RuntimeException: Returned value from distcp is non-zero (-1)
4

1 回答 1

1

Args 用于输入/输出，如文档中所述

第一个参数表示输入，第二个参数表示输出

要更改生产者/减少者的数量，请使用configuration 例如：

 <configuration>
            <property>
                <name>mapred.reduce.tasks</name>
                <value>${firstJobReducers}</value>
            </property>
</configuration>
于 2016-09-26T08:25:59.360 回答