我已将 MultipleOutputs 配置为生成 2 个命名输出。我想寄一个给s3n://一个给hdfs://
这可能吗？
问问题
188 次
1 回答
0
这目前无法通过可用的 API 来实现。
如果 Hadoop MapReduce的MultipleOutputs类当前仅适用于（配置的输出目录的）输出名称的子目录，它可以处理由推测执行引起的副作用。
但是，您可以重新实现该类（或从它派生），以支持这一点，因为它并非不可能实现。如果您计划让您的实现支持推测执行，您可能还需要更复杂的 OutputCommitter 实现。
于 2012-11-17T10:13:13.113 回答