0

在我正在处理的集群上，每个用户都获得了 60GB 的 Hadoop 配额。从历史上看，我正在处理的项目会生成很多 Hive 查询。为了让事情更快地工作，我试图并行这些查询（这些查询是不相关的），但结果是目录 /user/{myusername}/.staging/ 被 job_{someid} 目录填充，而这些目录又被填充使用蜂巢罐并非常快速地消耗这些 60GB。虽然我可以限制并行化因素，但我也想看看是否可以要求 Hive 将这些 jar 放在不同的目录中。在我有更多空间的地方说 /tmp/{myusername}。

知道如何告诉 Hive/Beeline 在 /tmp/{myusername} 下创建 .staging 目录吗？

4

2 回答 2

0

以上不起作用。

我们发现以下工作

直线 --hiveconf hive.exec.stagingdir=/tmp/{myusername}

于 2018-04-16T13:39:09.287 回答
0

最简单的方法是执行直线会话。 

beeline --hive.exec.stagingdir=/tmp/{myusername}

认为您可以通过 !set 在beeline 中执行此操作，但没有可用的语法。

于 2016-09-01T15:51:42.257 回答