0

我想在 HDFS 上处理大量小图像。Hadoop 提供归档 API 和顺序文件格式来存储大量小文件，以节省名称节点上的内存。但是，我需要在 map-reduce 之后检索符合我要求的图像。我不确定，但我认为从存档和顺序文件格式中检索图像可能很困难。但是如果我们不使用这些方法，我们可以选择返回文件的路径并让服务器通过这些路径从 HDFS 下载这些图像，尽管这可能会给 namenode 带来更大的压力。我无法决定使用哪种方案。任何人都可以提出任何建议吗？我真的很好奇谷歌如何将他们的图像存储在其数据中心并返回这些图像以响应用户的查询。

4

1 回答 1

1

您应该看看 HBase，它一方面允许您存储小文件和随机读/写，另一方面完全参与 map/reduce 作业

于 2012-06-22T17:23:01.253 回答