1

在 EMR 上，我使用s3-dist-cp --groupBy它来将文件夹中的随机fileName文件命名为我希望在 S3 中将其重命名为的名称：

s3-dist-cp --groupBy='.*(folder_in_hdfs).*' --src=hdfs:///user/testUser/tmp-location/folder_in_hdfs --dest=s3://testLocation/folder_in_s3

例子：

hadoop fs -ls hdfs:///user/testUser/tmp-location/folder_in_hdfs
Found 2 items
-rw-r--r--   1 hadoop hadoop          0 2019-04-05 14:54 hdfs:///user/testUser/tmp-location/folder_in_hdfs/file.csv/_SUCCESS
-rw-r--r--   1 hadoop hadoop     493077 2019-04-05 14:54 hdfs:///user/testUser/tmp-location/folder_in_hdfs/file.csv/part-00000-12db8851-31be-4b08-8a93-1887e534941d-c000.csv

运行 s3-dist-cp 后，

aws s3 ls s3://testLocation/folder_in_s3/
s3://testLocation/folder_in_s3/file.csv

但是，我想使用hadoop distcp命令在 Dataproc 上实现此功能并将文件写入 GCS 位置gs://testLocation/folder_in_gs/file.csv

任何帮助表示赞赏。

4

1 回答 1

1

Dataproc 在 DistCp 中没有这种能力。

也就是说，在运行 DistCp 之后，使用使用gsutil compose的简单 bash 脚本实现相同的结果是微不足道的：

DESTINATION=gs://bucket/path/to/destination/file
FILES=($(gsutil ls gs://testLocation/**folder_in_gs**))
gsutil compose "${FILES[@]::32}" "${DESTINATION}"
echo "${FILES[@]:32}"| xargs -n 1 | xargs -i gsutil compose "${DESTINATION}" {} "${DESTINATION}"
gsutil -m rm gs://testLocation/**folder_in_gs**
于 2019-04-08T03:51:28.263 回答