1

Apache Spark 版本：spark-1.2.1-bin-hadoop2.4 平台：Ubuntu

我一直在使用 spark-1.2.1-bin-hadoop2.4/ec2/spark-ec2 脚本在 ec2 上创建临时集群进行测试。一切运作良好。

然后我在尝试启动集群时开始收到以下错误：

[Errno 185090050] _ssl.c:344: 错误:0B084002:x509 证书例程:X509_load_cert_crl_file:system lib

我已将其追溯到 spark_ec2.py 脚本中的以下行：

conn = ec2.connect_to_region(opts.region)

因此，脚本第一次与 ec2 交互时，会抛出此错误。Spark 正在使用 Python boto 库（包含在 Spark 下载中）进行此调用。

我认为我得到的错误是因为某个地方的 cacert.pem 文件错误。

我的问题：当我尝试调用 spark-ec2 脚本时使用了哪个 cacert.pem 文件，为什么它不起作用？

spark-1.2.0-bin-hadoop2.4 我也有这个错误

4

1 回答 1

1

已解决：Spark 附带的嵌入式 boto 库找到了一个 ~/.boto 配置文件，用于另一个非 Spark 项目（实际上它是用于 Google Cloud Services...GCS 安装的，我忘记了它）。那把一切都搞砸了。

一旦我删除了 GCS 安装的 ~/.boto 配置文件，Spark 的一切都重新开始工作了！

于 2015-03-11T17:27:04.497 回答