0

我已经将我们的 Hadoop 集群的 HortonWorks 从 2.2 升级到 2.3，并对 Hue 进行了所有必要的更改（在 HortonWorks 文档中给出），但是在 Hive 浏览器上访问 Tez 时，hue 客户端存在以下问题，而 Hive CLI 上的 Tez 工作得很好。早些时候（HDP 2.2），Tez 与 Hue 兼容，但是在 HDP 2.3 上使用 Tez 的 Hue 客户端是否存在问题？

问题 1：将 HDP 2.2 升级到 2.3 后，Tez 仍会在 HDFS 和本地位置查找 HDP 2.2 库文件。HDP 2.2 位置：

HDFS： /hdp/apps/2.2.9.0-3393

本地文件： /usr/hdp/2.2.9.0-3393

问题 1 的临时解决方案：将 2.3 支持文件移至 2.2

HDFS：

hdfs dfs -cp /hdp/apps/2.3.2.0-2950/tez/tez.tar.gz /hdp/apps/2.2.9.0-3393/tez/

本地文件：

cp /usr/hdp/2.3.2.0-2950/hive/lib/hive-exec-0.14.0.2.2.9.0-3393.jar /usr/hdp/2.2.9.0-3393/hive/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop-yarn/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop-yarn/lib/
cp /usr/hdp/2.3.2.0-2950/hadoop-mapreduce/lib/jersey*.jar /usr/hdp/2.2.9.0-3393/hadoop-mapreduce/lib/

从技术上讲，Tez 必须查找“/usr/hdp/current”目录，即 2.3.2.0-2950。

问题 2：通过 Hue 在 Tez 上运行 Hive 会出现以下错误：

错误：

Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
ERROR : Failed to execute tez graph.
org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. No cluster diagnostics found.

通过一些研究发现，当运行 Hive 查询不需要执行 Tez 时，Hue 客户端版本与 AM 版本匹配，而任何需要执行 tez 的查询显示为未知。

  • 当不需要执行 Tez 时，客户端版本和 AM 版本匹配：

    为应用程序 appattempt_1470224940790_0082_000001 创建了 DAGAppMaster，versionInfo=[ component=tez-dag, version=0.7.0.2.3.2.0-2950, revision=4900a9cea70487666ace4c9e490d4d8fc1fee96f, SCM-URL=scm:git: https://git-wip- .org/repos/asf/tez.git , buildTime=20150930-1859 ] [INFO] [main] |app.DAGAppMaster|: 比较客户端版本和 AM 版本，clientVersion=0.7.0.2.3.2.0-2950, AMVersion= 0.7.0.2.3.2.0-2950

  • 启用 Tez 执行时客户端版本和 AM 版本不匹配：

    为应用程序 appattempt_1470224940790_0092_000001 创建了 DAGAppMaster，versionInfo=[ component=tez-dag, version=0.7.0.2.3.2.0-2950, revision=4900a9cea70487666ace4c9e490d4d8fc1fee96f, SCM-URL=scm:git: https://git-wip- .org/repos/asf/tez.git , buildTime=20150930-1859 ] 将客户端版本与 AM 版本进行比较，clientVersion=Unknown，AMVersion=0.7.0.2.3.2.0-2950 [ERROR] [main] |app.DAGAppMaster| : 发现不兼容的版本，clientVersion=Unknown, AMVersion=0.7.0.2.3.2.0-2950

当通过 HDP 2.3 上的 Hue 启用 Tez 时，任何人都可以帮助找到解决不兼容版本错误的方法。

4

0 回答 0