hadoop - 从 Hadoop 复制到本地机器

Question

我可以 ssh 到我们的盒子，hadoop fs -ls /theFolder 然后浏览文件等。但这也是我所知道的 :) 我的目标是将其中一个文件（它们是 Avro）复制到我的本地主文件夹中。

怎么能做到这一点？我还发现了一个get命令，但也不知道如何起诉。

Answer 1

首先，使用hadoop fs -get /theFolder将它复制到您在盒子上通过 ssh 进入的当前目录。

然后你可以使用scp或我的偏好rsync在你的盒子和你的本地系统之间复制文件，就像这样。这是我在使用,rsync后-get仍然在同一目录中的使用方式：

rsync -av ./theFolder username@yourlocalmachine:/home/username

这将从theFolder您盒子上的本地 fs 复制到您机器 fs 上的主文件夹中。确保username在这两种情况下都替换为您的实际用户名，以及yourlocalmachine您机器的主机名或 IP 地址。

Answer 2

使用 hadoop get，您可以将文件从 HDFS 复制到您机器的文件系统。get 在此处阅读有关使用的更多信息。

然后，使用scp（这类似于使用 ssh）您可以将这些文件复制到本地系统。scp 在此处阅读有关使用的更多信息。