0

我已经在 eclipse.my 中安装了 hadoop 插件。我的 mapreduce 程序有迭代，我想在每次迭代中读取 hdfs 中的文件。我直接从hdfs读取文件还是将文件复制到本地然后读取？哪个更高效？谢谢。

4

1 回答 1

0

这完全取决于你想用它做什么；如果您要重用文件内容，您不妨将其复制到本地以将重复查找保存到 HDFS，但如果您只需要读取一次，则直接从 HDFS 没有任何害处，因为复制到本地将涉及读取无论如何，它是从那里开始的。

于 2013-04-12T14:22:31.287 回答