c# - 使用 C# 进行 Hadoop 流式处理

Question

我正在使用 HDInsight，但我不明白的是，尽管 Microsoft声称所有数据节点都在 CentOS 和 Java 上运行，但您仍然可以使用 .NET 代码编写 Mapper/Reducer，这是因为 Hadoop Steaming。但是在这些文章中并不清楚 .NET 代码如何在 Linux 上运行（我认为这里不涉及 Mono）。有人可以阐明 .NET 代码最终是如何在每个数据节点上运行的，或者是吗？

Answer 1

数据节点实际上并未运行 CentOS。HDInsight 中的所有节点都基于适用于 Windows 的 Hortonworks 数据平台 (HDP)。这意味着当您使用 HDInsight 时，您的任何流媒体程序实际上都在 Windows 上运行。

您所指的文章正在谈论（相当令人困惑！）关于在一系列 Azure VM 上设置您自己的 Hadoop 作为 IaaS 的替代模式。HDInsight 消除了对管理开销的需求（这就是您为 VM 费用支付的费用）并提供 PaaS。

当然，没有什么可以阻止您在基于 linux 的 Hadoop 上以单声道运行流式 MapReduce 和 C#，但您的里程可能会有所不同。