我是 hadoop 的新手,我正在尝试在 Amazon EC2 上运行一个 hadoop jar。我已经通过控制台启动了我的亚马逊 ec2 实例,将我的文件上传到 dfs,然后能够成功运行作业 jar 并在实例上生成输出。
但我仍然在一方面感到困惑。我不确定该作业是在亚马逊 ec2 的单台机器上运行还是在集群上运行?如何找到我的 jar 运行所涉及的工作节点数量?
在一些参考链接中,我看到我们必须使用 launch-cluster command ,例如 "bin/hadoop-ec2 launch-cluster test-cluster 2" 。从控制台启动实例和使用这个命令(如启动集群)有什么区别。