12

有人可以解释一下hadoop中Edge节点的架构吗？我只能在互联网上找到定义，我有以下疑问 -

1）边缘节点是否必须是集群的一部分（如果它在集群内部，我们有什么优势？）。它是否将任何数据块存储在 hdfs 中。

2）边缘节点可以在集群外吗？

4

3 回答 3

22

戴尔解释+1。在我看来，Hadoop 集群中的边缘节点通常是负责运行 Hadoop 集群客户端操作的节点。通常，边缘节点与包含 HDFS、MapReduce 等 Hadoop 服务的节点分开，主要是为了保持计算资源的分离。对于只有几个节点的小型集群，通常会看到节点扮演主服务（JT、NN 等）、从属服务（TT、DN 等）和网关服务的混合角色。

请注意，在同一节点上运行主 Hadoop 服务和从属 Hadoop 服务并不是一个理想的设置，并且可能会导致缩放和资源问题，具体取决于所使用的内容。这种配置通常出现在小型开发环境中。

话虽如此，以下是您发布的问题的一些答案：

1) 边缘节点是否必须是集群的一部分？

边缘节点不必是集群的一部分，但是如果它在集群之外（意味着它没有运行任何特定的 Hadoop 服务角色），它将需要一些基本的部分，例如 Hadoop 二进制文件和当前Hadoop 集群配置文件，用于在集群上提交作业。

2）如果它在集群内部，我们有什么优势？

根据使用的分布，在集群中运行的边缘节点允许集中管理集群节点上的所有 Hadoop 配置条目，这有助于减少更新配置文件所需的管理量。通常这是一种一对多的方法，其中配置条目在一个位置更新，并被推送到集群中的所有（许多）节点。

但是，当集群中的一个节点也用作边缘节点时，客户端操作会消耗 CPU 和内存资源，这会减少该节点中运行的 Hadoop 服务可以利用的可用资源。

3) 它是否在 hdfs 中存储任何数据块？

除非边缘节点配置了 DataNode 服务，否则数据块将不会存储在该节点上。

4）边缘节点应该在集群之外吗？

如上所述，它可以依赖于集群环境和用例；在集群外部配置它的支持原因之一是保持客户端运行和 Hadoop 服务分开。

保持边缘节点分离允许该节点利用可用于 Hadoop 处理的全部计算资源。

希望这可以帮助！

于 2013-12-05T00:21:12.907 回答
7

边缘节点不是一个常见的 Hadoop 术语。我希望您已经找到了我所做的相同定义，这应该可以回答您的问题......这是来自戴尔。

EdgeNode – EdgeNode 是需要使用 Hadoop 环境的外部应用程序、工具和用户的接入点。EdgeNode 位于 Hadoop 集群和企业网络之间，为 Hadoop 环境提供访问控制、策略实施、日志记录和网关服务。一个典型的 Hadoop 环境将至少有一个 EdgeNode，并且根据性能需要更多。

所以这真的取决于你。Edgenode 可能在集群中，也可能不在。它可能运行 Hadoop 软件，或者仅仅能够访问它。据我所知，您基本上不需要一个 - 它只是您访问集群的方式的名称。

于 2013-05-29T11:32:35.623 回答
1

边缘节点只不过是 hadoop 集群的看门人，它允许您访问 hadoop 应用程序，例如 hive、pig .. 而我会说它是与集群对话的客户端。

于 2018-01-23T16:51:19.323 回答