5

我正在考虑使用 HDFS 作为我们客户端视频托管服务的水平扩展文件存储系统。我主要担心 HDFS 不是为此需求而开发的，这更像是“当前在需要处理大量数据的情况下使用的开源系统”。我们不想处理数据只是存储它们，在 HDFS 的基础上创建类似于小型内部 Amazon S3 模拟的东西。

可能重要的时刻是存储的文件大小将从 100Mb 到 10Gb 相当 git。

有没有人将 HDFS 用于此类目的？

4

3 回答 3

1

如果您使用的是 S3 等效项，那么它应该已经提供了一个分布式的、可挂载的文件系统，不是吗？也许您可以在http://openstack.org/projects/storage/上查看 OpenStack 。

于 2011-06-15T15:37:27.497 回答
0

为此，您可能需要考虑使用 MongoDB。他们有 GridFS，这将允许您将其用作存储。然后，您可以通过分片水平扩展存储，并通过复制提供容错。

于 2014-01-26T21:25:46.867 回答
0

主要缺点是缺少 POSIX 语义。您无法安装驱动器，并且需要特殊的 API 来读取和写入驱动器。Java API是主要的API。有一个名为libhdfs的项目通过 JNI 创建了一个 C API，但我从未使用过它。Thriftfs是另一种选择。

与其他替代方案相比，我也不确定读取性能。也许别人知道。你检查过其他分布式文件系统，比如Lustre吗？

于 2011-05-26T14:57:07.647 回答