如何使用 C# 在 Azure 集群上远程运行 Streaming Map Reduce 作业？我的映射器和化简器是用 Java 或 C++ 编写的。.Net C# SDK 的作业执行方法将 JobType 作为输入，因此我无法指定基于 C++ 和 Java 的映射器/缩减器的类型。
还有另一个类StreamingProcessExecutor似乎适合我的情况，但没有输入我的凭据，所以我认为不可能将它用于远程执行。
任何人都知道如何远程和以编程方式执行流式地图减少作业？
问问题
339 次
2 回答
0
我找到了一类可用于此目的WebHCatHttpClient的.Net Hadoop SDK 。虽然我仍然无法成功远程运行作业。
于 2013-08-20T06:33:19.290 回答
0
可以使用 WebHCat 执行此操作。
文档在这里
只需对以下端点进行 REST 调用：https://<clusterDnsName>.azurehdinsight.net/templeton/v1/mapreaduce/streaming
于 2014-10-06T06:10:37.727 回答