是否可以在不指定输出文件的情况下运行 hadoop 作业？当我尝试运行 hadoop 作业时，没有指定的输出文件抛出异常。任何人都可以使用Java给出任何程序。
我正在将reduce处理的数据写入非关系数据库，因此我不再需要它写入HDFS。
问问题
3814 次
1 回答
5
不幸的是，你不能真正做到这一点。编写输出是框架的一部分。当你在框架之外工作时，你基本上只需要处理后果。
您可以使用NullOutputFormat，它不会将任何数据写入 HDFS。不过，我认为它仍然会创建文件夹。您总是可以让 Hadoop 创建文件夹，然后将其删除。
于 2012-10-03T13:13:50.277 回答