0

我一直在使用 scala IDE 中的 spark 从本地系统连接到 Hive(在集群中),最后将我的 hive-site.xml 正确放置在 Spark/conf 文件夹和类路径中,并且能够连接到 Metastore 但无法访问蜂巢表。

如何更改 HiveContext 的用户

15/12/22 10:28:42 INFO ParseDriver:解析命令:显示表 15/12/22 10:28:43 INFO ParseDriver:解析已完成 15/12/22 10:28:45 INFO metastore:尝试连接Metastore 与 URI thrift://Server.com:9083 15/12/22 10:28:46 INFO JniBasedUnixGroupsMapping:获取 XXXX 组时出错:找不到用户名。

15/12/22 10:28:46 WARN UserGroupInformation:没有可供用户 XXXXX 使用的组 15/12/22 10:28:46 INFO Metastore:已连接到 Metastore。

线程“主”java.lang.NoClassDefFoundError 中的异常:org/apache/tez/dag/api/SessionNotRunning at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:353) at org.apache.spark.sql.hive.HiveContext$$anonfun$4 .apply(HiveContext.scala:235) at org.apache.spark.sql.hive.HiveContext$$anonfun$4.apply(HiveContext.scala:231) at scala.Option.orElse(Option.scala:257) at org. apache.spark.sql.hive.HiveContext.x$3$lzycompute(HiveContext.scala:231) 在 org.apache.spark.sql.hive.HiveContext.x$3(HiveContext.scala:229) 在 org.apache.spark。 org.apache.spark.sql.hive.HiveContext.hiveconf(HiveContext.scala:229) 中的 org.apache.spark.sql.hive.HiveMetastoreCatalog 中的 sql.hive.HiveContext.hiveconf$lzycompute(HiveContext.scala:229)。 (HiveMetastoreCatalog.scala:55) 在 org.apache.spark.sql.hive.HiveContext$$anon$1.(HiveContext.scala:253) 在 org.apache.spark.sql.hive。HiveContext.catalog$lzycompute(HiveContext.scala:253) at org.apache.spark.sql.hive.HiveContext.catalog(HiveContext.scala:253) at org.apache.spark.sql.hive.HiveContext$$anon$3。 (HiveContext.scala:263) 在 org.apache.spark.sql.hive.HiveContext.analyzer$lzycompute(HiveContext.scala:263) 在 org.apache.spark.sql.hive.HiveContext.analyzer(HiveContext.scala:262 ) 在 org.apache.spark.sql.SQLContext$QueryExecution.analyzed(SQLContext.scala:411) 在 org.apache.spark.sql.SQLContext$QueryExecution.analyzed$lzycompute(SQLContext.scala:411)。 spark.sql.SchemaRDDLike$class.$init$(SchemaRDDLike.scala:58) at org.apache.spark.sql.SchemaRDD.(SchemaRDD.scala:108) at org.apache.spark.sql.hive.HiveContext.hiveql (HiveContext.scala:102) 在 org.apache.spark.sql.hive.HiveContext.hql(HiveContext.scala:106) 在 com.Spark。ConnectToHadoop.CountWords$.main(CountWords.scala:50) at com.Spark.ConnectToHadoop.CountWords.main(CountWords.scala) 原因:java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning at java .net.URLClassLoader$1.run(Unknown Source) at java.net.URLClassLoader$1.run(Unknown Source) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(Unknown Source) at java .lang.ClassLoader.loadClass(Unknown Source) at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source) at java.lang.ClassLoader.loadClass(Unknown Source) ... 23 更多URLClassLoader$1.run(Unknown Source) at java.net.URLClassLoader$1.run(Unknown Source) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(Unknown Source) at java.lang。 ClassLoader.loadClass(Unknown Source) at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source) at java.lang.ClassLoader.loadClass(Unknown Source) ... 23 更多URLClassLoader$1.run(Unknown Source) at java.net.URLClassLoader$1.run(Unknown Source) at java.security.AccessController.doPrivileged(Native Method) at java.net.URLClassLoader.findClass(Unknown Source) at java.lang。 ClassLoader.loadClass(Unknown Source) at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source) at java.lang.ClassLoader.loadClass(Unknown Source) ... 23 更多

4

1 回答 1

1

这个答案与您的问题无关,但是,您的问题与显示的异常无关...

hive-site.xml您提供给 Spark 的文件中,将属性hive.execution.engine从“tez” (需要 TEZ 运行时)更改为默认的“mr”。

于 2015-12-22T07:47:47.760 回答