34

我有很多备用的英特尔 linux 服务器（数百台），并希望将它们用于网络托管和文件共享环境中的分布式文件系统。这不适用于 HPC 应用程序，因此高性能并不重要。主要要求是高可用性，如果一台服务器离线，存储在其硬盘上的数据仍然可以从其他节点获得。它必须通过 TCP/IP 运行并提供标准的 POSIX 文件权限。

我看过以下内容：

  • Lustre ( http://wiki.lustre.org/index.php?title=Main_Page )：非常接近，但它不为节点上的数据提供冗余。您必须使用 RAID 或 DRBD 使数据成为 HA。由 Sun 和开源支持，因此应该存在一段时间

  • gfarm（http://datafarm.apgrid.org/）：看起来它提供了冗余，但以复杂性和可维护性为代价。不如 Lustre 得到很好的支持。

有没有人对这些或任何其他可能有效的系统有任何经验？

4

7 回答 7

21

还要检查GlusterFS

编辑（2012 年 8 月）： Ceph终于准备好了。最近，作者成立了Inktank，这是一家独立公司，为其出售商业支持。根据一些介绍，可挂载的 POSIX 兼容文件系统是最上层，尚未真正经过测试，但下层已经在生产中使用了一段时间。

有趣的部分是 RADOS 层，它提供了一个基于对象的存储，通过librados库（可用于多种语言）和与 Amazon S3 兼容的 RESP API 进行“本机”访问。任何一个都足以为 Web 服务添加大量存储。

该视频很好地描述了理念、架构、能力和现状。

于 2008-11-06T15:45:33.357 回答
5

在我看来，Linux 上最好的文件系统是 MooseFS，它很新，但我有机会将它与 Ceph 和 Lustre 进行比较，我肯定 MooseFS 是最好的。

于 2011-10-11T09:56:53.037 回答
4

Gluster 目前受到了很多媒体的关注：

http://www.gluster.org/

于 2011-01-06T20:21:16.830 回答
2

Lustre 一直在为我们工作。它并不完美，但它是我们尝试过的唯一没有因负载过大而崩溃的东西。我们仍然不时遇到 LBUGS，处理 100TB + 文件系统绝非易事，但 Lustre 系统已经工作并提高了性能和可用性。

于 2010-11-22T02:02:28.163 回答
2

如果不是有人强迫你使用它，我也强烈建议使用 Lustre 以外的任何东西。从我从其他人那里听到的以及也让我自己做噩梦很长一段时间的事实是，Lustre 在各种情况下很容易崩溃。如果系统中只有一个客户端发生故障，它通常会在持有一些重要的全局锁的同时将自己置于无休止的 do_nothing_loop 模式 - 所以下次另一个客户端尝试访问相同的信息时，它也会挂起。因此，您通常最终会重新启动整个集群，我想这是您通常会尝试避免的事情；）

像 FhGFS (http://www.fhgfs.com) 这样的现代并行文件系统在这里更加健壮，并且还允许您做一些不错的事情，例如在同一台机器上运行服务器和客户端组件（尽管内置的 HA 功能仍在开发，正如他们团队中的某个人告诉我的，但从我听说的情况来看，他们的实施将非常棒）。

于 2011-06-19T12:06:56.617 回答
0

Ceph看起来是一个很有前途的新进入这个领域。该网站声称它尚未准备好用于生产用途。

于 2009-11-27T16:26:10.150 回答
0

我读了很多关于分布式文件系统的文章，我认为 FhGFS 是最好的。

http://www.fhgfs.com/

值得一试。在以下位置查看更多信息：

http://www.fhgfs.com/wiki/

于 2011-06-12T16:13:14.130 回答