hadoop - 多文件流 hdfs

Question

我在不同的文件上有两个矩阵。我必须将文件读入缓存，以便将它们相乘。我一直想知道 HDFS 是否会帮助我。我怀疑 HDFS 没有，因为它没有足够的缓存来读取文件并处理它。简而言之，我可以同时打开两个文件吗

Answer 1

要回答您的问题的简短版本，是的，HDFS API 确实允许一次同时读取两个文件。您可以简单地在两个文件上创建两个输入流并并行读取它们（就像使用常规文件一样）并围绕它管理您的逻辑。

但是，HDFS 是一个简单的文件系统，没有自己的缓存可提供（操作系统缓冲区缓存除外），您需要携带的任何用于计算的缓存都需要由您自己的应用程序处理。

作为另一个一般性建议，既然您希望使用矩阵相乘，不妨看看支持 HDFS 的Apache Mahout和Apache Hama项目。