<property>
<name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name>
<value>false</value>
</property>
我想将上述属性覆盖为true。对于集群上的其余作业，该属性需要为 false，但我需要在我的 oozie 工作流程中，hadoop 在作业完成后在输出目录中创建 _SUCCESS 文件。它是写入输出的工作流中的一个配置单元操作。请帮忙。
问问题
5588 次
3 回答
8
不幸的是，Hive 通过设置它自己的 NullOutputComitter 来覆盖此功能：
conf.setOutputCommitter(NullOutputCommitter.class);
看
src/shims/src/0.20/java/org/apache/hadoop/hive/shims/Hadoop20Shims.java
src/shims/src/common-secure/java/org/apache/hadoop/hive/shims/HadoopShimsSecure.java
看起来您必须手动创建标志。我们为此提交了HIVE-3700。
于 2012-11-09T22:01:43.650 回答
2
您可以将“dfs”命令添加到您的配置单元脚本中，例如
dfs -touchz '$table_base_path'/dt='${partition}'/_SUCCESS
https://archive.cloudera.com/cdh4/cdh/4/hive/language_manual/cli.html
于 2016-07-15T12:42:11.970 回答
0
我遇到了同样的问题，最终使用 shell 操作来创建标志。
这是一个完整的例子： http: //nathan.vertile.com/blog/2014/09/02/oozie-data-pipeline-done-flag/
于 2014-09-03T22:24:09.583 回答