hadoop - 将 HDFS 数据写入外部磁盘/磁带

Question

我在 HDFS 上有 1TB 的数据。我的本地磁盘上没有那么多空间来将数据传输到我的本地。

有什么方法可以将 HDFS 数据直接写入外部硬盘？

score 2 · Accepted Answer

2

如果磁盘映射到您的机器上，您应该可以使用 -get 命令来完成

于 2013-04-24T07:58:33.173 回答

score 1 · Accepted Answer

您连接的外部驱动器是另一个本地驱动器，它是固定硬盘驱动器的扩展。因此，您可以从命令行使用“hadoop fs”命令的 copyToLocal 选项。这是详细信息的链接

此外，Hadoop API 可用于将 HDFS 文件复制到本地驱动器。请参阅下面的 copyToLocalFile() 方法。

2 回答 2