问题标签 [spark-ec2]

我注意到，当我使用spark/ec2/spark-ec2 start mycluster安装例程从本地计算机启动 Spark EC2 集群时，我有一个讨厌的习惯，即破坏我放入集群 spark/conf/ 中的所有内容。每次启动集群时都不必运行 put-my-configs-back.sh 脚本，是否有一种“正确”的方法来设置在停止/启动后仍然存在的持久性配置？或者只是更好的方法？

我在本地使用 Spark 主机，在集群中使用 Spark 1.2。

我想知道spark-ec2创建集群时是否可以更改hadoop版本？

我试过了

然后我登录

发现hadoop版本是1.0.4。

我想使用 2.x 版本的 hadoop，配置它的最佳方法是什么？

我尝试使用 spark-ec2 使用 hadoop 2.x 版本启动 ec2 集群，所以我尝试了：

然后我发现在 tachyon 设置过程中有错误：

我搜索了一些相关的问题，这似乎Server IPC version 7 cannot communicate with client version 4意味着服务器正在使用 hadoop 2.x，而客户端正在使用 hadoop 1.x。但是，我使用 hadoop 2.4.0 构建了我的 spark，并且我还尝试了使用 hadoop 2.4.0 及更高版本的官方 spark 预构建版本，两者都导致相同的错误。

顺便说一句，通过设置创建的hadoop版本--hadoop-major-version=2是Hadoop 2.0.0-cdh4.2.0. 这是一个问题吗？但是我在这里尝试使用 2.4 或 2.4.0，它们都没有被识别为有效的 hadoop 版本

Apache Spark 版本：spark-1.2.1-bin-hadoop2.4 平台：Ubuntu

我一直在使用 spark-1.2.1-bin-hadoop2.4/ec2/spark-ec2 脚本在 ec2 上创建临时集群进行测试。一切运作良好。

然后我在尝试启动集群时开始收到以下错误：

[Errno 185090050] _ssl.c:344: 错误:0B084002:x509 证书例程:X509_load_cert_crl_file:system lib

我已将其追溯到 spark_ec2.py 脚本中的以下行：

conn = ec2.connect_to_region(opts.region)

因此，脚本第一次与 ec2 交互时，会抛出此错误。Spark 正在使用 Python boto 库（包含在 Spark 下载中）进行此调用。

我认为我得到的错误是因为某个地方的 cacert.pem 文件错误。

我的问题：当我尝试调用 spark-ec2 脚本时使用了哪个 cacert.pem 文件，为什么它不起作用？

spark-1.2.0-bin-hadoop2.4 我也有这个错误

When using the Apache Spark EC2 script to launch a cluster I have found somewhat of a bug which is beginning to hit my pocket. When specifying the number of slaves: if you enter a number which is greater than or equal to your limit then the cluster is launched with your maximum number of slaves - but no master! This gives you no control over the slaves and thus cluster.

I have not found a way to launch just a master with the Apache Spark EC2 script. I have manually shut down 1 of the slaves to make space for a master; however, when then trying to re-launch the script it just says:

To overcome this, I have to log into the AWS console and terminate all the clusters and then restart. As Amazon charge per hour I am being charged for a full hours worth of my maximum number of clusters - all for nothing.

Is there a way to launch a master when slaves already exist?

尝试使用 Apache Spark EC2 脚本启动 EC2 集群 (c4.2xlarge) 时，出现以下错误：

有什么修复吗？

我是一个完整的火花初学者。我正在尝试在 Amazon EC2 上运行 spark，但我的系统无法识别“spark-ec2”或“./spark-ec2”。它说“spark-ec2”不被识别为内部或外部命令。

我按照此处的说明启动了一个集群。我想使用 Scala，如何使它工作？

我使用 spark 1.4 和 spark-ec2 启动了一个按需 spark 集群。然后我登录到集群，发现 aws 客户端是古老的。

在我的本地，aws 客户端是

spark-ec2 安装的 aws 版本太旧了，使用完全不同的语法。我希望能够使用符号：

但我得到了这个错误：

是否有安装最新版本 AWS CLI 的更新 AMI？

我想问一下目前是否可以使用 spark-ec2 脚本https://spark.apache.org/docs/latest/ec2-scripts.html以及不仅来自:aws_access_key_id和的凭据aws_secret_access_key，而且还包含aws_security_token.

当我尝试运行脚本时，我收到以下错误消息：

有谁知道什么可能是错的？是aws_security_token问题吗？在我看来，这可能比 Spark 问题更像 boto。

我都试过了：

~/.aws/credentials1) 在和中设置凭据~/.aws/config

2）通过命令设置凭证：

我的启动命令是：

目前，我已经使用 spark-ec2.sh 脚本在 AWS 上安装了 Spark 1.5.0 版本。

现在，我想将我的 Spark 版本升级到 1.5.1。我该怎么做呢？是否有任何升级程序或者我必须使用 spark-ec2 脚本从头开始构建它？在这种情况下，我将丢失所有现有配置。

请指教

谢谢