hadoop - 轻快的小文件

Question

我是 Cassandra 和 Hadoop 的新手。在寻找两种产品的集成时，我遇到了 Brisk。从描述中我了解到 Brisk 用 CassandraFS 替换了 HDFS。那么这个替换是Hadoop小文件问题的解决方案吗？如果是这样，大文件呢？目前我需要实现一个资源存储，其中包含带有元数据的大型二进制数据文件和图像等小文件。

Answer 1

两者兼而有之（尽管我认为 Brisk 现在已被纳入商业产品 DataStax Enterprise，并且本身并未积极开发）。

Brisk 包括 CassandraFS (cfs)，它是 HDFS 的替代品，因此支持大文件。在引擎盖下，这些被分成块并存储在 Cassandra 行/列中。

对于小文件，您可以将数据存储在本机 Cassandra 行而不是 CassandraFS 中，并改为在这些行上运行 Hadoop 作业。