2

只是为了自学,我决定实现“hello world”分布式文件系统。最简单的一种。并决定阅读该主题下的理论。但是......当我向谷歌询问这个问题时,它显示了诸如“如何配置 hdfs”或“如何在 Windows 上设置分布式 fs”之类的答案,这不是我感兴趣的......

有人可以指点我一些关于这个主题的好文章或书籍。非常感谢!

4

1 回答 1

3

那么,如果你真的决定实现这样一个文件系统,你必须从分布式系统开始。我建议阅读 Tanenbaum 参考书http://www.distributed-systems.net/index.php?id=distributed-systems-principles-and-paradigms

小心,这个主题真的很复杂,分布式系统几乎很容易实现。

如果你想看看一些已经实现的分布式文件系统,你可以看看GFS/GFS2(来自 RedHat)。你也可以看看 oracle 的ocfs2。你也可以看看gluster https://fr.wikipedia.org/wiki/GlusterFS

您也许还可以在google 文件系统上找到一些白皮书(当时它还是大学的工作)。

这种分布式系统的主要问题是故障检测(在文件系统上写入时检测节点何时崩溃=>需要确保没有损坏)。有多种策略,一种可能是实现受分布式锁保护的日志。

另一个大(经典)问题是“脑裂”问题,当集群由于网络故障(想象一个坏掉的交换机)被分成两组时。两组都“认为”另一组已死(他们无法与之通信),但无法确保远处的组没有写入数据,导致数据发散。

希望你能找到你想要的一切。

编辑:现在 GFS 已被弃用,redhat 正在使用和开发“ Ceph

于 2015-11-27T20:28:16.310 回答