我正在使用该命令fs -put
将一个巨大的 100GB 文件复制到 HDFS 中。我的 HDFS 块大小是 128MB。文件复制需要很长时间。我的问题是在文件复制过程中,其他用户无法看到该文件。这是设计使然吗?我们如何允许另一个用户访问这个部分文件,以便他也可以监控复制进度。
问问题
1126 次
2 回答
1
大小逐块显示。因此,如果您的块大小为 128MB,那么当第一个块完成时您会看到文件大小为 128MB,然后过一段时间您会看到大小为 256MB,依此类推,直到整个文件被复制。因此,您可以使用常规 HDFS UI 或命令行hadoop fs -ls
来监控逐块复制进度。hadoop fs -cat
即使在复制过程中,您也可以读取已复制的部分。
于 2012-12-28T09:02:28.490 回答
0
根据Hadoop - The Definitive Guide
一旦写入了超过一个块的数据,第一个块将对新读者可见。后续块也是如此:它始终是当前正在写入的块对其他读者不可见。
于 2013-01-03T15:15:52.280 回答