hadoop - 如果我们使用 DistCp 命令，块大小如何从 Cluster1 到 Cluster2 变化？

Question

我正在处理“DistCp”命令以将几个关键文件从 My Cluster1 移动到 Cluster2。这些关键文件以前驻留在 Blocksize 64MB 中。现在移到 Cluster2 [它有 128MB 块大小）。

在 DistCp 移动之后，关键文件的性能将如何随着 Cluster2 中的新块大小而增加..性能增加或减少..???

Answer 1

这取决于您的文件。Hadoop 文件应该按顺序读取，如果您的文件很大（比如说 Gbs 或 Tbs），如果您增加块大小，它会提高性能，因为它会减少要执行的任务数量。使用 Distcp 复制不会保留文件的块属性，因为块配置因集群而异。