apache-spark - Hadoop 用户类路径 - 直线

Question

有什么方法可以为直线 MapReduce 和火花引擎设置 HADOOP_USER_CLASSPATH_FIRST

export HADOOP_USER_CLASSPATH_FIRST=true
export HADOOP_CLASSPATH=/xx/jackson/jackson-core-2.6.5.jar:/xx/jackson/jackson-databind-2.6.5.jar:/xx/jackson/jackson-annotations-2.6.1.jar

set mapreduce.job.user.classpath.first=true;

我可以使用 hive-cli 和 mr 引擎来使用它，但它不能使用 beeline 和 mr 引擎以及火花引擎

Answer 1

好的，我可以弄清楚 MapReduce 引擎

使用以下配置，它可以工作，而对于火花上的蜂巢，我还没有成功

CM > Hive > 配置 > 搜索“Hive 服务环境高级配置片段（安全阀）”

HADOOP_USER_CLASSPATH_FIRST=true
HADOOP_CLASSPATH=/xx/jackson/jackson-core-2.6.5.jar:/xx/jackson/jackson-databind-2.6.5.jar:/xx/jackson/jackson-annotations-2.6.1.jar