3

据我所知，我只知道 Hadoop 1 和 2 之间的一个区别。

它的主动和被动辅助名称节点。

有人可以列出 Hadoop 1 和 2 之间的区别吗？

4

3 回答 3

14

Hadoop 1

  1. Hadoop 1.x 仅支持 MapReduce (MR) 处理模型。不支持非 MR 工具。
  2. MR 同时进行处理和集群资源管理。
  3. 1.x 具有有限的节点扩展。每个集群限制为 4000 个节点。
  4. 适用于槽的概念——槽只能运行 Map 任务或 Reduce 任务。
  5. 管理整个命名空间的单个 Namenode。
  6. 1.x 具有单点故障 (SPOF) - 由于单个 Namenode - 并且在 Namenode 故障的情况下，需要手动干预来克服。
  7. MR API 与 Hadoop 1x 兼容。用 Hadoop1 编写的程序在 Hadoop1x 中执行，无需任何附加文件。
  8. 1.x 作为事件处理、流式传输和实时操作的平台有一定的局限性。
  9. 数据节点大小为 64 MB

Hadoop 2

  1. Hadoop 2.x 允许在 MR 以及其他分布式计算模型（如 Spark、Hama、Giraph、消息传递接口）MPI 和 HBase 协处理器中工作。
  2. YARN（Yet Another Resource Negotiator）进行集群资源管理，并使用不同的处理模型进行处理。
  3. 2.x 具有更好的可扩展性。每个集群最多可扩展至 10000 个节点。
  4. 致力于容器的概念。使用容器可以运行通用任务。
  5. 多个 Namenode 服务器管理多个命名空间。
  6. 2.x 具有通过备用 Namenode 克服 SPOF 的功能，并且在 Namenode 故障的情况下，它被配置为自动恢复。
  7. MR API 需要额外的文件才能让用 Hadoop1x 编写的程序在 Hadoop2x 中执行。
  8. 可以作为各种数据分析的平台——可以运行事件处理、流式传输和实时操作。
  9. 数据节点大小为 128 MB
于 2016-01-19T17:13:34.303 回答
2

Hadoop2 中的 Hadoop 架构有重大改进。引入了称为 YARN（Yet Another Resource Negotiator）的分布式操作系统层。现在资源（内存和 CPU）管理由 YARN 处理。

此外，还为 NameNode 引入了 HA。

于 2014-07-29T06:37:04.087 回答
1

1) 可扩展性 - 通过将处理在从属上运行的任务的工作委托给应用程序主控来减少资源管理器 (RM) 的负载，RM 现在可以处理比作业跟踪器更多的请求，从而促进添加更多节点。

2) 与 MPv1 与 MapReduce 强耦合不同，YARN 支持在其上运行多种代码，如 MR2、Tez、Storm、Spark 等

3）优化的资源分配——YARN中没有为Mapper和Reducers单独分配固定数量的slot，MRv1就是这种情况。因此，节点的可用容量可以用于任何需要资源的任务。

4) 当资源管理器发生故障时，在资源管理器恢复后，集群上运行的作业无需重新启动。

5) 故障转移机制由 ZK 实现，它已经是资源管理器的一部分，它说，我们不需要运行另一个守护进程。

请在此处查看更多详细信息..

于 2017-01-06T07:13:57.083 回答