1

我正在尝试理解 Namenode，我参考了在线资料并参考了 Hadoop：权威指南一书。

我知道 Namenode 有这样的概念：“编辑日志”、“fsimage”，我可以在我的 Namenode 中看到以下文件。

==================================================== =======================

-rw-rw-r-- 1 vevaan24 vevaan24 1048576 Nov 23 22:53 edits_0000000000000000001-0000000000000000001
-rw-r--r-- 1 root     root     1048576 Nov 23 23:42 edits_0000000000000000002-0000000000000000002
-rw-rw-r-- 1 vevaan24 vevaan24 1048576 Nov 24 00:07 edits_0000000000000000003-0000000000000000003
-rw-rw-r-- 1 vevaan24 vevaan24 1048576 Nov 24 21:03 edits_0000000000000000004-0000000000000000004
-rw-rw-r-- 1 vevaan24 vevaan24 1048576 Nov 24 22:59 edits_0000000000000000005-0000000000000000005
-rw-r--r-- 1 root     root     1048576 Nov 24 23:00 edits_0000000000000000006-0000000000000000006
-rw-rw-r-- 1 vevaan24 vevaan24 1048576 Nov 25 21:15 edits_0000000000000000007-0000000000000000007
-rw-rw-r-- 1 vevaan24 vevaan24 1048576 Nov 25 21:34 edits_0000000000000000008-0000000000000000008
-rw-r--r-- 1 root     root     1048576 Nov 26 02:13 edits_inprogress_0000000000000000009
-rw-rw-r-- 1 vevaan24 vevaan24     355 Nov 25 21:15 fsimage_0000000000000000006
-rw-rw-r-- 1 vevaan24 vevaan24      62 Nov 25 21:15 fsimage_0000000000000000006.md5
-rw-r--r-- 1 root     root         355 Nov 26 00:12 fsimage_0000000000000000008
-rw-r--r-- 1 root     root          62 Nov 26 00:12 fsimage_0000000000000000008.md5
-rw-r--r-- 1 root     root           2 Nov 26 00:12 seen_txid
-rw-rw-r-- 1 vevaan24 vevaan24     201 Nov 26 00:12 VERSION

在那本书中提到fsimage不存储块位置。

我有以下问题：

1）是否edit logs也存储块位置？（对于新交易？）

2）Namenode和Datanode重启时，Namenode如何获取区块地址？我的疑问是 NN 读取fsimage以重建文件系统信息，但fsimage没有块位置的信息，那么如何重建这些信息？

fsimage3) 只存储BLOCK ID是真的吗？如果是，BLOCK ID 在 Datanodes 中是唯一的吗？BLOCK ID与BLOCK 地址的 ID相同吗？

4

1 回答 1

1

块位置，即存储块的数据节点既不保存在fsimage文件中，也不保存在edit log. Namenode 只在内存中保存这个映射。

每个数据节点都有责任保存它正在存储的块列表的信息。

在重新启动期间，Namenode 将fsimage文件加载到内存中并应用来自 的编辑edit log，当数据节点检查其块列表时，会从数据节点中获取块位置的缺失信息。Namenode 使用来自块列表的信息，构建块与其在内存中的位置的映射。

fsimage有超过块 ID。它包含文件块、块大小、复制因子、访问时间、修改时间、文件权限等信息，但不包含块的位置。

是的，块 ID 是唯一的。块地址将指块所在的数据节点的地址。

于 2017-04-14T10:20:30.933 回答