我在 Mac OSX 10.8 上本地运行 Shark 查询时遇到问题。我正在尝试对存储在 Hive 中的数据运行一些测试查询。我正在使用 Scala 2.9.3 和 Hive 0.9.0,两者似乎都运行良好。Hive 数据库使用 MySQL 来存储元数据。
我可以很好地启动 Shark。我可以在 Shark 控制台中看到我在 Hive 中的所有数据库。我可以切换到所需的数据库。但是当我尝试查询数据时,我得到了错误。
简单的查询如下所示:
select * from table limit 100;
错误如下所示:
25.351: [Full GC 98320K->17564K(1013632K), 0.1279630 secs]
java.lang.NoSuchMethodError: org.apache.hadoop.hive.shims.HadoopShims.isLocalMode(Lorg/apache/hadoop/conf/Configuration;)Z
at shark.execution.FileSinkOperator.execute(FileSinkOperator.scala:123)
at shark.execution.SparkTask.execute(SparkTask.scala:101)
at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:134)
at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:57)
at org.apache.hadoop.hive.ql.Driver.launchTask(Driver.java:1326)
at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1118)
at org.apache.hadoop.hive.ql.Driver.run(Driver.java:951)
at shark.SharkCliDriver.processCmd(SharkCliDriver.scala:294)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:406)
at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:341)
at shark.SharkCliDriver$.main(SharkCliDriver.scala:203)
at shark.SharkCliDriver.main(SharkCliDriver.scala)
FAILED: Execution Error, return code -101 from shark.execution.SparkTask