1

我已经使用 Spark 部署了一个 Amazon EC2 集群，如下所示：

~/spark-ec2 -k spark -i ~/.ssh/spark.pem -s 2 --region=eu-west-1 --spark-version=1.3.1 launch spark-cluster

我首先将我需要的文件复制到主服务器，然后使用以下命令从主服务器复制到 HDFS：

ephemeral-hdfs/bin/hadoop fs -put ~/ANTICOR_2_10000.txt ~/user/root/ANTICOR_2_10000.txt

我有一个要运行的 jar，它是用 JDK 8 编译的（我使用了很多 Java 8 功能），所以我将它复制过来scp并运行它：

spark/bin/spark-submit --master spark://public_dns_with_port --class package.name.to.Main job.jar -f hdfs://public_dns:~/ANTICOR_2_10000.txt

问题是spark-ec2使用 JDK7 加载集群，所以我得到了Unsupported major.minor version 52.0

我的问题是，我需要将JDK7更改为JDK8的所有地方都有哪些？

到目前为止，我在 master 上执行的步骤是：

  • 用 yum 安装 JDK8
  • 使用sudo alternatives --config java首选 java 并将其更改为 java-8
  • export JAVA_HOME=/usr/lib/jvm/openjdk-8

我必须对所有节点都这样做吗？我还需要更改 hadoop 使用的 java 路径ephemeral-hdfs/conf/hadoop-env.sh还是我错过了其他任何地方？

4

2 回答 2

0

不幸的是，亚马逊不提供开箱即用的 Java 8 安装，但是：请参阅可用版本。

您是否看过这篇关于如何在正在运行的实例上安装它的帖子？

于 2015-12-28T23:28:53.353 回答
0

这是我为所有与默认安装提供的版本不同的 java 安装所做的：-

  1. 在每台机器/节点上配置 JAVA_HOME 环境变量：-

    导出 JAVA_HOME=/home/ec2-user/softwares/jdk1.7.0_25

  2. 修改默认 PATH 并将“java/bin”目录放在所有节点/机器上 PATH 的其余部分之前。

    导出 PATH=/home/ec2-user/softwares/jdk1.7.0_25/bin/:$M2:$SCALA_HOME/bin/:$HIVE_HOME/bin/:$PATH:

以上需要使用相同的“OS 用户”来完成，该用户用于执行/拥有 spark master/worker 进程。

于 2015-12-29T01:07:34.957 回答