0

我正在尝试通过执行以下命令使用 Shark 在配置单元元存储中创建一个表:

CREATE TABLE src(key int, value string);

但我总是得到:

FAILED: Hive Internal Error: java.util.NoSuchElementException(null)

在 google group-shark-users 中阅读同样的内容,但唉。

我的 spark 版本是 0.8.1 我的 shark 版本是 0.8.1 Hive 二进制版本是 0.9.0

我已经从 cdh4.5.0 预安装了 hive-0.10.0,但我无法使用它,因为 Shark 0.8.1 与 hive-0.10.0 尚不兼容。

我可以运行各种查询,例如select * from table_name; 但不创建表查询。即使尝试创建缓存表也会失败。

如果我尝试使用我的 HADOOP_VERSION=2.0.0cdh4.5.0 进行 sbt 构建,我会收到 DistributedFileSystem 错误并且我无法运行任何查询。

我迫切需要一个解决方案。如果有人能把我引向正确的方向,我会很高兴。我有 mysql 数据库而不是 derby。

4

1 回答 1

1

我也遇到过类似的问题,貌似只有在Shark的0.8.1才会出现这种情况。我通过恢复到 Spark 和 Shark 0.8.0 解决了这个问题,它工作正常。

0.8.0 和 0.8.1 在功能上非常相似,除非您在两个版本之间使用 Spark 来增加功能,否则最好还是使用 0.8.0。

顺便说一句,SPARK_HADOOP_VERSION如果SHARK_HADOOP_VERSION您打算从源代码构建这两个。这不仅仅是HADOOP_VERSION

于 2014-02-04T02:16:23.980 回答