0

似乎 apache oozie 目前不支持 Spark 作业，对吗？有什么方法可以将 spark 工作集成到 oozie 中？

4

2 回答 2

1

您始终可以将 spark 作为 Java 操作执行。或者您也可以在 oozie 中使用 spark 动作，请参阅此链接，其中包含有关 spark 动作的详细信息 -- https://github.com/apache/oozie/blob/master/client/src/main/resources/spark-action- 0.1.xsd

<java>
        <main-class>org.apache.spark.deploy.SparkSubmit</main-class>

        <arg>--class</arg>
        <arg>${spark_main_class}</arg> 

        <arg>--deploy-mode</arg>
        <arg>cluster</arg>

        <arg>--master</arg>
        <arg>yarn</arg>

        <arg>--queue</arg>
        <arg>${queue_name}</arg> -> depends on your oozie config

        <arg>--num-executors</arg>
        <arg>${spark_num_executors}</arg>

        <arg>--executor-cores</arg>
        <arg>${spark_executor_cores}</arg>

        <arg>${spark_app_file}</arg> 

        <arg>${input}</arg> -> some arg 
        <arg>${output}</arg>-> some other arg

        <file>${spark_app_file}</file>

        <file>${name_node}/user/spark/share/lib/spark-assembly.jar</file>
    </java>
于 2015-04-20T23:17:07.110 回答
1

Oozie 对 Spark 的支持即将到来，请参阅 Jira，目前仅在主干中。

否则，选项会将其作为 Java 或 Shell 操作运行。

于 2015-04-20T23:21:17.283 回答