0

我有一个使用spark-submit启动的 spark jar，它工作正常（读取文件、生成 RDD、存储在 hdfs 中）。但是，当我尝试在 Oozie 作业(oozie:spark-action)中启动同一个 jar 时，火花作业会失败。

当我查看日志时，出现的第一个错误是：

错误 MetricsSystem：无法实例化接收器类 org.apache.spark.metrics.sink.MetricsServlet。

此外，当我开始使用 spark 脚本时，我发现问题与saveAsText函数有关。当我在没有写入 HDFS 的情况下使用相同的 spark 作业进行午餐时，整个工作流程运行良好。

有什么建议么 ？

4

1 回答 1

0

问题出在我正在执行 oozie 作业的集群一侧。

我需要在工作流程中明确添加参数，只是因为没有考虑到它们：

<spark-opts>--queue HQ_IBNF --conf "spark.executor.extraJavaOptions=-Djava.library.path=/opt/application/Hadoop/current/lib/native"</spark-opts>

于 2017-07-03T11:36:38.713 回答