hadoop - 使用 distcp 命令复制到 s3 位置

Question

我正在使用以下命令将一些数据从 HDFS 复制到 S3：

$ hadoop distcp -m 1 /user/hive/data/test/test_folder=2015_09_19_03_30 s3a://data/Test/buc/2015_09_19_03_30

2015_09_19_03_30存储桶在 S3 中不存在。它成功地将目录的数据复制/user/hive/data/test/test_folder=2015_09_19_03_30到 S32015_09_19_03_30存储桶中，但是当我再次执行相同的命令时，它会在 S3 中创建另一个存储桶。

我希望这两个文件都应该在同一个桶中。

Answer 1

这是您尝试正确的情况，因为它将新文件放在同一个存储桶中

// first there is no data
$ hadoop fs -ls s3n://testing/
$

// then dist cp the data in dir input to testing bucket
$ hadoop distcp input/ s3n://testing/
$ hadoop fs -ls s3n://testing/
Found 1 items
drwxrwxrwx   -          0 1970-01-01 00:00 s3n://testing/input
$ hadoop fs -ls s3n://testing/input/
Found 3 items
-rw-rw-rw-   1       1670 2016-09-23 13:23 s3n://testing/input/output
-rw-rw-rw-   1        541 2016-09-23 13:23 s3n://testing/input/some.txt
-rw-rw-rw-   1       1035 2016-09-23 13:23 s3n://testing/input/some2.txt
$
// added new file a.txt in input path
// and executed same command
$ hadoop distcp input/ s3n://testing/
$ hadoop fs -ls s3n://testing/input/
Found 4 items
-rw-rw-rw-   1          6 2016-09-23 13:26 s3n://testing/input/a.txt
-rw-rw-rw-   1       1670 2016-09-23 13:23 s3n://testing/input/output
-rw-rw-rw-   1        541 2016-09-23 13:23 s3n://testing/input/some.txt
-rw-rw-rw-   1       1035 2016-09-23 13:23 s3n://testing/input/some2.txt
$