有没有人可以解释 HDFS 和网格计算之间的主要区别?
3 回答
我认为您必须在问题中将HDFS替换为Hadoop。
Hadoop 是一个框架,它允许使用简单的编程模型——基于 YARN(Yet Another Resource Negotiator)的 Map Reduce 框架跨商品计算机集群分布式处理大型数据集。
HDFS 是一种文件系统,旨在存储具有流式数据访问模式的超大文件,在商用硬件上运行集群。
网格计算方法基于将工作分布在机器集群上,这些机器访问由存储区域网络 (SAN) 托管的共享文件系统。这适用于主要计算密集型的作业,但当节点需要访问更大的数据量时,它就会成为一个问题。
HDFS 只是一个文件系统。由于您正在比较数据的处理,因此您必须将网格计算与 Hadoop Map Reduce (YARN) 进行比较,而不是 HDFS。
Hadoop 尝试将数据与计算节点放在一起,因此数据访问速度很快,因为它是本地的。此功能称为数据局部性,是 Hadoop 中数据处理的核心,也是其良好性能的原因。
您可以参考 Hadoop,权威指南(第 4 版)以更好地理解这些概念。
Hadoop与其他分布式系统有何不同
- 向外扩展
- 成熟的技术
- 低成本
- 被大巨人使用
Hadoop 分布式文件系统 (HDFS) 是一种分布式文件系统,旨在在商用硬件上运行。它与现有的分布式文件系统有很多相似之处。但是,与其他分布式文件系统的区别是显着的。HDFS 具有高度容错性,旨在部署在低成本硬件上。HDFS 提供对应用程序数据的高吞吐量访问,适用于拥有大量数据集的应用程序。HDFS 放宽了一些 POSIX 要求,以支持对文件系统数据的流式访问。
但....
网格计算是从多个位置收集计算机资源以实现共同目标。网格可以被认为是一个分布式系统,具有涉及大量文件的非交互式工作负载。网格计算与传统的高性能计算系统(例如集群计算)的区别在于,网格计算机的每个节点都设置为执行不同的任务/应用程序。与集群计算机相比,网格计算机也更趋向于异构和地理分散(因此没有物理耦合)。尽管单个网格可以专用于特定应用程序,但通常网格用于多种目的。网格通常使用通用网格中间件软件库构建。
我认为 hdfs 与网格计算无关。或者它可能用于网格中的超级虚拟计算机