我是一个完整的火花初学者。我正在尝试在 Amazon EC2 上运行 spark，但我的系统无法识别“spark-ec2”或“./spark-ec2”。它说“spark-ec2”不被识别为内部或外部命令。
我按照此处的说明启动了一个集群。我想使用 Scala，如何使它工作？
问问题
373 次
2 回答
2
使用 boto 添加 PYTHON PATH 环境变量。PYTHONPATH="${SPARK_EC2_DIR}/third_party/boto-2.4.1.zip/boto-2.4.1:$PYTHONPATH" 并执行python脚本
于 2015-04-22T14:46:04.217 回答
1
为了在 Windows 上运行 Spark-EC2 脚本，您需要 Cygwin 和 Python。如果不想安装这些程序，可以使用脚本的 dockerized 版本（https://github.com/edrevo/spark-ec2-docker），它只依赖于 Docker。
于 2015-07-21T07:28:33.493 回答