目前我的hdfs结构是:
/数据/xxx/xxx/2014
/数据/xxx/xxx/2015
/数据/xxx/xxx/2016
2015 年以下两个文件,2016 年以下两个文件,2014 年只有一个文件
我使用此命令分别复制它们:
hadoop distcp -Dfs.s3n.awsAccessKeyId="mykey" -Dfs.s3n.awsSecretAccessKey="mysecret" /data/xxx/xxx/2014* s3n://bucket/emr/xxx/xxx/year=2014/
不知何故,它似乎是
上一年度=2015/
上一年度=2016/
44324255 年=2014
2014 年的文件不存储在 s3 文件夹中,而是作为单独的文件存储。(这种情况不会发生在 2015 年和 2016 年,因为有多个文件)
有没有办法让它存储为 PRE year=2014/ ???
我不希望这个 cmd 使目录层次结构变平。