1

有没有人可以解释 HDFS 和网格计算之间的主要区别？

4

3 回答 3

2

我认为您必须在问题中将HDFS替换为Hadoop。

Hadoop 是一个框架，它允许使用简单的编程模型——基于 YARN（Yet Another Resource Negotiator）的 Map Reduce 框架跨商品计算机集群分布式处理大型数据集。

HDFS 是一种文件系统，旨在存储具有流式数据访问模式的超大文件，在商用硬件上运行集群。

网格计算方法基于将工作分布在机器集群上，这些机器访问由存储区域网络 (SAN) 托管的共享文件系统。这适用于主要计算密集型的作业，但当节点需要访问更大的数据量时，它就会成为一个问题。

HDFS 只是一个文件系统。由于您正在比较数据的处理，因此您必须将网格计算与 Hadoop Map Reduce (YARN) 进行比较，而不是 HDFS。

Hadoop 尝试将数据与计算节点放在一起，因此数据访问速度很快，因为它是本地的。此功能称为数据局部性，是 Hadoop 中数据处理的核心，也是其良好性能的原因。

您可以参考 Hadoop，权威指南（第 4 版）以更好地理解这些概念。

于 2015-08-30T15:09:49.463 回答
1

Hadoop与其他分布式系统有何不同

  • 向外扩展
  • 成熟的技术
  • 低成本
  • 被大巨人使用
于 2015-08-29T03:36:42.583 回答
0

Hadoop 分布式文件系统 (HDFS) 是一种分布式文件系统，旨在在商用硬件上运行。它与现有的分布式文件系统有很多相似之处。但是，与其他分布式文件系统的区别是显着的。HDFS 具有高度容错性，旨在部署在低成本硬件上。HDFS 提供对应用程序数据的高吞吐量访问，适用于拥有大量数据集的应用程序。HDFS 放宽了一些 POSIX 要求，以支持对文件系统数据的流式访问。

但....

网格计算是从多个位置收集计算机资源以实现共同目标。网格可以被认为是一个分布式系统，具有涉及大量文件的非交互式工作负载。网格计算与传统的高性能计算系统（例如集群计算）的区别在于，网格计算机的每个节点都设置为执行不同的任务/应用程序。与集群计算机相比，网格计算机也更趋向于异构和地理分散（因此没有物理耦合）。尽管单个网格可以专用于特定应用程序，但通常网格用于多种目的。网格通常使用通用网格中间件软件库构建。

我认为 hdfs 与网格计算无关。或者它可能用于网格中的超级虚拟计算机

于 2014-11-12T11:59:52.770 回答