hadoop - 我可以为仅使用一个输出文件的配置单元查询的输出选择我自己的名称吗？

Question

我得到了我的配置单元查询的多个输出文件。所以，我的第一个问题是我可以将我的输出配置为仅在一个文件中。另外，我可以选择我自己的输出名称而不是 0000 吗？

仅供参考，我没有使用 jar 文件向 hadoop 提交作业。而不是它，我正在为我的工作使用配置单元查询。那么，我该如何重命名我的输出文件名。

Answer 1

通过将 reducer 的数量设置为 0，您可以将单个文件作为输出。您可以从 Hive CLI 执行此操作：

hive>  set mapred.reduce.tasks = 1;

是的，您可以更改输出文件的名称。您可以子类化OutputFormat.java该类并编写自己的。您可以查看 TextOutputFormat.java 和 MultipleOutputFormat.java 等的代码以供参考。为此，您只需将该类子类化并覆盖您需要更改的方法。