1

目前我的hdfs结构是:

/数据/xxx/xxx/2014

/数据/xxx/xxx/2015

/数据/xxx/xxx/2016

2015 年以下两个文件,2016 年以下两个文件,2014 年只有一个文件

我使用此命令分别复制它们:

hadoop distcp -Dfs.s3n.awsAccessKeyId="mykey" -Dfs.s3n.awsSecretAccessKey="mysecret" /data/xxx/xxx/2014* s3n://bucket/emr/xxx/xxx/year=2014/

不知何故,它似​​乎是

上一年度=2015/

上一年度=2016/

44324255 年=2014

2014 年的文件不存储在 s3 文件夹中,而是作为单独的文件存储。(这种情况不会发生在 2015 年和 2016 年,因为有多个文件)

有没有办法让它存储为 PRE year=2014/ ???

我不希望这个 cmd 使目录层次结构变平。

4

0 回答 0