我正在尝试学习如何在亚马逊的 EMR 上运行 java Map/Reduce (M/R) 作业。我正在关注的文档在这里http://aws.amazon.com/articles/3938。我在 Windows 7 电脑上。
当我尝试运行此命令时，会显示帮助信息。
./elasticmapreduce-client.rb RunJobFlow streaming_jobflow.json
当然，因为我在 Windows 机器上，所以我实际上输入了这个命令。我不知道为什么，但是对于这个特定的命令，没有 Windows 版本（所有命令成对显示，一个用于 *nix，一个用于 Windows）。
ruby elastic-mapreduce RunJobFlow my_job.json
我的问题是我们如何使用命令行界面（在 Windows 上）从 Windows 向亚马逊的 EMR 提交/运行作业？我试过在网上搜索，但我被带到了野外。任何帮助表示赞赏。
谢谢。
尝试使用 --json 选项。
例如 ./elastic-mapreduce --create --name Multisteps --json wordcount_jobflow.json
您将需要仅使用步骤来修剪您的 json 文件（删除 [] 之外的所有内容）。有一个线程讨论：https ://forums.aws.amazon.com/thread.jspa?threadID=35093
要在 EMR 上运行流式作业，首先您需要通过以下命令创建集群：
ruby elastic-mapreduce --create --alive --plain-output --master-instance-type m1.xlarge
--slave-instance-type m1.xlarge --num-instances 6 --name "Some Job Cluster" --bootstrap-action s3://<path-to-a-bootstrap-script>
这将返回一个jobid，它看起来像：j-ABCD7EF763
现在您可以通过以下命令逐步提交作业：
ruby elastic-mapreduce -j j-ABCD7EF763 --stream --step-name "my step name" --mapper
s3://<some-path>/mapper-script.rb --reducer s3://<some=path>/reducer-script.rb --input
s3://<input-path> --output s3://<output-path>
您还可以直接运行作业而不是运行流式作业，在这种情况下，集群将在作业结束时自行终止。
嗯。我不确定 RunJobFlow 的例子有多老......我个人会忽略它。
你能跑吗？
localhost$ elastic-mapreduce --describe
一旦可以，您应该直接在集群上玩，以摆脱您需要执行的确切步骤......这样做是值得的，因此您不必启动/停止集群无数次。
localhost$ elastic-mapreduce --create --alive --num-instances 1
localhost$ elastic-mapreduce -j j-YOUR_ID_HERE --ssh
cluster$ hadoop jar my.jar -D some=1 -D args=1 blah blah
cluster$ hadoop jar some_other_jar.jar -D foo -D bar
cluster$ ^D
localhost$ elastic-mapreduce -j j-YOUR_ID_HERE --terminate
然后，当您对这些步骤感到满意并且需要让它无头运行（例如，从 cron 运行）时，您可以让 EMR 编排这些步骤（包括集群在最后自行终止）
localhost$ elastic-mapreduce --create --num-instances 1
localhost$ elastic-mapreduce --jar my_jar.jar --args "-D,some=1,-D,args=1,blah,blah"
localhost$ elastic-mapreduce --jar some_other_jar.jar --args "-D,foo,-D,bar"
如果您需要更复杂的步骤，我只会探索 --json 的东西，它有点神秘，第一次很难搞定......