7

我是 Hadoop 新手。Hadoop与Linux绑定如此紧密，其运行的集群是同构的，具体原因是什么？

我正在寻找可以告诉我为什么 Hadoop 在 Windows 上不能很好地工作的真正具体的细节，以及是否有一些库涉及一些特定的脚本？

我的项目是在不使用 Cygwin 的情况下部署 Hadoop。我已经看过 Hayes Davis 的文章，他解释了如何在没有 Cygwin 的情况下安装 Hadoop，但他说存在一些错误。我可能会从头开始在 Windows 上正确配置 Hadoop，但如果有人能具体解释 Hadoop 在 Windows 上无法正常工作的原因，那将非常有帮助。

4

3 回答 3

4

根据他们的快速入门页面，它还没有经过很好的测试。

  • 支持 GNU/Linux 作为开发和生产平台。Hadoop 已在具有 2000 个节点的 GNU/Linux 集群上进行了演示。
  • 支持 Win32 作为开发平台。分布式运行在Win32上没有经过很好的测试，所以不支持作为生产平台。

Windows 提供的远程管理支持比大多数人意识到的要好得多，但在建立大型计算场的简易性（和价格标签）方面仍然很难击败 Linux。这只是一个猜测，但可能需要构建如此大规模集群的研究人员不太可能将大部分预算用于操作系统许可。

于 2012-09-23T07:07:48.583 回答
4

您是否知道Microsoft 和 Hortonworks正在合作的 Hadoop 工作，本质上是对 Apache 项目进行更改以支持原生 Windows？

该项目仍处于预览阶段，Azure 上的 Hadoop是部署的第一部分。这是在 Windows Azure 云中的 Windows Server 2008R2 上运行的 Hadoop。它也可以在本地安装以构建您自己的集群。

我建议您学习更多并注册该计划，因为您将重新创建他们已经花费了很多年的东西。

于 2012-09-23T03:34:27.753 回答
2

经验证的答案来自 2012 年。以下是Hadoop Wiki截至 2017 年的最新消息

  • Hadoop 2.2 版及以后的版本包括对 Windows 的本机支持。官方 Apache Hadoop 版本不包括 Windows 二进制文件（截至 2014 年 1 月）。但是，从源代码构建 Windows 包相当简单。
于 2017-03-13T11:05:50.090 回答