amazon-s3 - PigStorage 如何为 S3 工作？

Question

我想知道 Pig 中的 PigStorage 如何将数据存储到 S3？它是否将输出保存到 HDFS 然后将它们复制过来？或者将每个减速器输出保存到每个减速器的本地目录，然后将它们复制到 S3？我想这不能流式传输，因为 S3 只支持放置文件或目录？

Answer 1

我的理解是每个reducer都在本地写入输出，然后将输出复制到S3。

正如您所说的那样 - 由于 S3 不支持流式传输，因此减速器只能在完成处理后复制其输出。