为什么GFS中的块大小为64Mb,但当文件大小不是 64 的倍数时可能会导致内部碎片?
问问题
1628 次
2 回答
5
在他们的目标应用程序中,文件更可能很大。块服务器可以执行大的顺序读取而不是许多小读取,因此提高了吞吐量。
GFS论文中提到的三个原因:
- 降低master的负载。GFS 的主服务器只提供块的元数据,而不提供块内容。因此,如果块相对较大,将向主服务器发送较少的请求。
- 减少网络开销,它鼓励应用程序在单个块和持久网络连接上完成许多操作。应用程序也以更少的请求获取数据。
- 减少存储在 master 中的元数据大小。GFS 的设计中只有一台主服务器。块的所有元数据都存储在主服务器的内存中,以减少延迟并提高吞吐量。大块意味着更少的元数据,更少的元数据意味着更少的元数据加载时间。
此外,元数据分布在块服务器上以解决局部性问题,而不是主服务器。当主服务器启动时,它会从所有块服务器加载元数据。因此,更少的元数据意味着更少的启动时间。
为了限制大块大小的影响,GFS 使用惰性空间分配,即如果一个文件只有 1 MB 大小,GFS 只向文件系统请求 1 MB 而不是 64 MB,以避免由于内部碎片而浪费空间.
值得一提的是,GFS 的继任者 Colossus 将数据块大小从 64MB 减少到 1MB。
于 2017-05-13T18:02:17.377 回答
0
这些系统是为处理较大的文件而开发的。同样,默认情况下 HDFS 使用 128 MB。
于 2015-04-30T08:39:32.910 回答