-1

我有数百个大型 lzo 压缩文件位于我想复制到 Hadoop DFS 的服务器上。对于未压缩文件，我使用的常用命令是

cat someFile | ssh uname@hadoop "hadoop dfs -put - /data/someFile"

我假设这不适用于压缩文件（因为cat可能没有意义）。我是否首先需要将文件复制到名称节点和放置：

scp someFile.lzo uname@hadoop:~/ #on remote server
hadoop dfs -put someFile.lzo /data/ #on Hadoop server
rm ~/someFile.lzo

似乎应该有更好的方法来做到这一点。

4

1 回答 1

0

如果您的客户端计算机（具有大文件的服务器）可以安装 hadoop 客户端库，那么您在任何情况下都不需要 cat 您的文件。

可以使用的命令：

hadoop dfs -cp localfilename hdfsipaddress:hdfsport(通常是9000):hdfs路径

于 2016-09-03T19:31:08.157 回答