1

我正在尝试在 oozie 4.2.0 (HDP 2.3.x) 上安排 spark 1.5.2 作业。Spark 1.5.2 已在外部安装，我没有使用 hortonworks 提供的默认 spark 版本。我指的是下面的帖子来设置它。

https://community.hortonworks.com/questions/7014/oozie-sparkaction-throwing-javalangnosuchmethoderr.html

我正在努力寻找下面的罐子。

-spark-assembly-1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.jar

-spark-examples-1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.jar

如果您可以帮助我找到/下载以上 jar 的一些指示，这将是一个很大的帮助。

4

1 回答 1

0

你检查过火花库路径吗

/usr/hdp/current/spark-client/lib

你可以找到

[ram@IP lib]$ ls
datanucleus-api-jdo-3.2.6.jar  datanucleus-rdbms-3.2.9.jar               spark-assembly-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar  spark-hdp-assembly.jar
datanucleus-core-3.2.10.jar    spark-1.6.1.2.4.2.0-258-yarn-shuffle.jar  spark-examples-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar
[ram@IP lib]$

然后将所需的库复制到您的工作流库中

eg: hadoop fs -put /usr/hdp/current/spark-client/lib/* YOUR_WORKFLOW/lib
于 2016-08-05T04:16:41.943 回答