0

我想使用 spark-ec2 脚本启动 AWS EC2 实例。我收到此错误：

Initializing spark
--2016-11-18 22:33:06--  http://s3.amazonaws.com/spark-related-packages/spark-1.6.3-bin-hadoop1.tgz
Resolving s3.amazonaws.com (s3.amazonaws.com)... 52.216.1.3
Connecting to s3.amazonaws.com (s3.amazonaws.com)|52.216.1.3|:80... connected.
HTTP request sent, awaiting response... 404 Not Found
2016-11-18 22:33:06 ERROR 404: Not Found.
ERROR: Unknown Spark version

本地安装的spark来自spark-1.6.3-bin-hadoop2.6.tgz，所以安装不应该尝试访问spark-1.6.3-bin-hadoop1.tgz。在 init.sh 中，当 HADOOP_MAJOR_VERSION==1 时会安装这个 spark 版本：

      if [[ "$HADOOP_MAJOR_VERSION" == "1" ]]; then
    wget http://s3.amazonaws.com/spark-related-packages/spark-$SPARK_VERSION-bin-hadoop1.tgz
  elif [[ "$HADOOP_MAJOR_VERSION" == "2" ]]; then
    wget http://s3.amazonaws.com/spark-related-packages/spark-$SPARK_VERSION-bin-cdh4.tgz
  else
    wget http://s3.amazonaws.com/spark-related-packages/spark-$SPARK_VERSION-bin-hadoop2.4.tgz
  fi
  if [ $? != 0 ]; then
    echo "ERROR: Unknown Spark version"
    return -1

问题是：

-- http://s3.amazonaws.com/spark-related-packages没有带有hadoop1的spark版本，所以这就是spark安装失败的根本原因。

--HADOOP_MAJOR_VERSION 似乎在安装过程中设置为 1，即使我的安装有 Hadoop 版本 2.x，导致上述问题。

--spark_ec2.py 在安装过程中从 github 提取最新的 spark-ec2，所以我看不到可能的本地修复。我没有信心直接从 github 分支和破解这个脚本。

关于如何解决这个问题的任何想法？

4

1 回答 1

0

该问题通过在本地调用 spark-ec2 脚本时包含此选项来解决：

--hadoop_major_version=2

见：https ://github.com/amplab/spark-ec2/issues/43

于 2016-11-20T09:53:02.400 回答