hadoop - 在hadoop中，将文件复制到主节点还是从节点

Question

我们应该在处理 map-reduce 作业之前从本地/放置文件到 hdfs 吗？当我运行 mapreduce 示例时，我被教导在主节点中格式化 hdfs 并将文件从本地复制到主节点中的 hdfs 空间。

那为什么有些教程说主节点只是将元数据通知给客户端。笔记本电脑（客户端）会将文件块复制到数据节点而不是主节点？例如http://www.youtube.com/watch?v=ziqx2hJY8Hg在 25:50。我基于本教程的理解是文件（按块分割）将被复制到从节点。所以我们不需要从本地 /put 文件复制到主节点。我很困惑。谁能解释文件复制/复制到哪里？

Answer 1

块不会被复制到主节点。主节点（Namenode）向客户端发送元数据，其中包含客户端放置每个块的数据节点位置。没有实际的块数据传输到 NameNode。

我发现这部漫画是一个很好的 hdfs 解释

Answer 2

hadoop中的主节点（Namenode）只处理元数据（Datanode<->数据信息）。它不处理实际文件。相反，实际文件仅存储在数据节点中。