hadoop - Hadoop EC2 安装的 Spark 脚本：IPC 客户端连接被拒绝

Question

我试图通过 EC2 的 spark 脚本在 EC2 集群设置上使用 distcp 在 Hadoop 和 Amazon S3 之间进行复制

[root]# bin/hadoop distcp s3n://bucket/f1 hdfs:///user/root/

我得到的错误是

INFO ipc.Client: Retrying connect to server: .. Already tried n time(s).

Copy failed: java.net.ConnectException: Call to ..my_server failed on connection excep\
tion: java.net.ConnectException: Connection refused

Answer 1

Spark EC2 脚本可能有意不启动 JobTracker 和 TaskTracker 服务。所以在运行 Spark EC2 安装脚本之后，为了启动服务，我运行了

{HADOOP_HOME}/bin/start-all.sh

参考：感谢 Brock Noland 在https://groups.google.com/a/cloudera.org/forum/#!topic/cdh-user/H6wAfdeLIJo