1

我正在用 Java 编写 map-reduce 作业我想知道是否可以将作业的输出作为流（可能是输出流）而不是物理输出文件来获取。我的目标是将流用于另一个应用程序。

4

2 回答 2

0

您可以编写自定义输出格式并将该写入用于您想要的任何流。不一定是文件。请参阅本教程，了解如何编写自定义输出格式。

否则，您可以使用 Hadoop Streaming API。看看这里。

于 2013-02-12T10:17:30.093 回答
0

我不认为你可以使用 Apache-Hadoop 做到这一点。它被设计为在分布式系统中工作，而 AFAIK 提供了发出的方式output stream将违背目的，因为系统将如何决定要发出的流，即哪个减速器！您可以写入 flat-file/DB/amazon-s3 等，但也许您不会得到stream。

于 2013-02-13T19:34:18.377 回答