我有数百个大型 lzo 压缩文件位于我想复制到 Hadoop DFS 的服务器上。对于未压缩文件,我使用的常用命令是
cat someFile | ssh uname@hadoop "hadoop dfs -put - /data/someFile"
我假设这不适用于压缩文件(因为cat
可能没有意义)。我是否首先需要将文件复制到名称节点和放置:
scp someFile.lzo uname@hadoop:~/ #on remote server
hadoop dfs -put someFile.lzo /data/ #on Hadoop server
rm ~/someFile.lzo
似乎应该有更好的方法来做到这一点。