问题标签 [metastore]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
760 浏览

cassandra - 在 DSE 上配置 Spark/Shark 时出错

, 我已经安装了
1) scala-2.10.3

2) spark-1.0.0 使用以下变量更改了 spark-env.sh

我可以看到 Spark 大师。

3) 鲨鱼-0.9.1-bin-hadoop1

4) 在 DSE 中,Hive 版本是 Hive 0.11 Existing Hive-site.xml 是

5) 运行 Shark shell 时出现错误:

6) 在使用 -skipRddReload 运行 Shark shell 时 - 我能够获取 Shark shell 但无法连接配置单元并且无法执行任何命令。

并收到错误消息:

请详细说明如何在 Datastax 企业 (Cassandra) 上配置 spark/shark。

0 投票
3 回答
3826 浏览

hive - 在同一张表上配置多个用户

是否有可能在 hive 中共享表。我的意思是用户创建了一个配置单元表。稍后,多个用户可以同时在同一张桌子上工作。

我听说过 derby 和每个用户的个人元存储。但是单个元存储选项不允许用户同时在同一组表上工作,对吗?

有没有其他方法可以解决这个问题?

因为当我们尝试同时访问 hive 时,会得到以下错误——

原因:错误 XSDB6:另一个 Derby 实例可能已经启动了数据库 /root/metastore_db。

0 投票
0 回答
651 浏览

hive - Hive 无法将水槽推文数据导入仓库 (HDFS)

我正在使用 Cloudera CDH 5.0.2 并希望将水槽数据导入 Hive metastore/warehouse@HDFS。但它不起作用。

我使用了以下 JSON SerDe:http ://files.cloudera.com/samples/hive-serdes-1.0-SNAPSHOT.jar

我正在使用此代码使用 hive 编辑器创建表:

当我使用 HIVE 编辑器执行查询时,我得到以下日志:

当我去HDFS并浏览仓库时,我看不到任何文件。好像没有数据导入仓库。

我正在使用 PostgreSQL 作为元存储。

当我尝试使用此查询导入数据时:

06/29/14 00:31:09 LOAD DATA INPATH '/user/flume/tweets/FlumeData.1404026375345' INTO TABLE 'default.tweets' PARTITION (datehour='1404026375345')

我收到以下错误消息:

Flume 工作正常,我可以在 Flume/tweets 下看到我的 HDFS 中的所有推文和数据。但是为什么 hive 不复制任何数据到 HDFS 仓库中的 metastore 呢?

0 投票
2 回答
1697 浏览

mysql - hive-metastore 无法在 cloudera manager 安装过程中启动

我们正在安装Cloudera CDH4Ubuntu 12.04 LTS在安装步骤中,我们卡在 hive 元存储启动。我们已按照下载文档中的建议配置了meta-storewith 。MySQL

它给了我们以下错误:

在日志文件中显示以下错误:

以下是输出hive-site.xml文件:

我们的主要重点是安装impala. 如果我们使用默认的德比。Hive 元存储运行良好。但是当我们开始时impala-shell。它向我们显示未连接。我们能做些什么来纠正这个问题?

任何人都可以帮助我们解决这个错误。

0 投票
2 回答
1387 浏览

hadoop - Oozie 无法访问 HUE 中的 Metastore 数据库

我在 CDH4 上,在 HUE 中,我在 Metastore Manager 中有一个名为 db1 的数据库。我可以毫无问题地运行在 db1 中创建对象的 Hive 查询。我将这些相同的查询放在脚本中并通过 Oozie 运行它们,但它们失败并显示以下消息:

失败:SemanticException 0:0 在以下位置创建临时文件夹时出错:hdfs://lad1dithd1002.thehartford.com:8020/appl/hive/warehouse/db1.db。在令牌“TOK_TMP_FILE”附近遇到错误

我在 Metastore Manager 中以 HUE 用户 db1、HUE 用户 admin 和 HUE 用户 db1 的身份创建了 db1,但没有任何效果。如果有帮助的话,db1 用户在底层 Linux 集群上也有一个 db1 ID。

我已经对 /appl/hive/warehouse/db1.db 进行了 chmod 以读取、写入、执行到所有者、组、其他,而这些都没有任何区别。

我几乎可以肯定这是一个权利问题,但什么?奇怪的是,我在另一个 ID 下工作,我在其中破解了一些似乎有效的组合,但我不确定如何。这一切都在 HUE 中,所以如果可能的话,我想要一个在 HUE 中可行的解决方案,这样我就可以轻松地将它交给喜欢在 GUI 级别工作的人。

谢谢!

0 投票
2 回答
1502 浏览

hadoop - Cloudera/Hive - 主机名更改后无法访问表

我创建了一个 Cloudera 集群并从 oracle DB 导入了一些示例测试文件。但过了一会儿,我不得不更改节点的主机名。我按照 cloudera 网站中提到的指南进行操作,一切正常。但是当我尝试访问我之前创建的表(同时使用 hive 和 impala)时,我收到以下错误:获取结果遇到以下错误:

java.io.IOException:java.lang.IllegalArgumentException:java.net.UnknownHostException:[旧主机名]

然后我在同一个数据库下创建了另一个表(使用 Hue>Metastore 表),我可以毫无问题地访问在新主机名下创建的这些新表。

有人可以解释我如何在不恢复主机名的情况下访问我的旧表。我可以访问 Metastore db 并将表指针更改为新主机名吗?

0 投票
1 回答
527 浏览

hive - 查询远程配置单元元存储以获取表列表

嗨大师,

我想访问 mapr 上的远程配置单元元存储:以下是 conf 参数:

驱动程序:“org.apache.hive.jdbc.HiveDriver”

数据库网址:jdbc:hive2://Company.com:port number/

我正在使用 hiveserver2 和 dbvisualizer 是我触发查询的工具。我想访问这个远程配置单元元存储并能够获取超过 N 天的表的创建日期。请告诉我如何完成它以及相同的配置单元查询。我有一个 jdbc 代码,它做同样的事情,但我想知道我是否可以直接编写一个 hive 查询来做同样的事情。hcatalog 是否提供了一种方法来做到这一点,如果是的话如何?

0 投票
1 回答
253 浏览

hadoop - 在单独的节点上设置 hiveserver2 和 hive 元存储

是否可以在不同的节点上设置 hive metastore 和 hive server2 服务?我知道 HDP ambari 强迫你将两者设置在同一个节点上,我相信还有 webhcat,但是其他供应商比如 Cloudera 呢?和别的?

0 投票
1 回答
1546 浏览

hive - hive 中的授予权限不适用于 hdp2.2

我正在 CentOS 6.5 上尝试使用 Ambari 设置的 HDP2.2 集群,但在运行 Hive GRANT 查询时遇到问题。例如,一个查询

给了我一个看起来像这样的例外

失败:执行错误,从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。无法检索 hdfs 的角色:此配置中禁用了远程 Metastore 的 Metastore 授权 api 调用。

这里发生了什么,你能解释一下'retrieve roles for hdfs'的含义吗?那是“hdfs”系统用户还是某些特定的 hadoop 用户?

从我一直在阅读的内容来看,似乎问题出在一些配置单元设置上。有没有办法以某种方式关闭安全性或使用 hive-site.xml 以正确的方式对其进行调整?

0 投票
0 回答
394 浏览

hive - 使用非默认配置单元元存储数据库名称

一台机器上有两个版本的配置单元。目的是通过单个 mysql 实例来支持两者。为此,我们需要使用与Metastore不同的数据库名称

以下内容已添加到第二个hive 实例的 hive-conf.xml 中:注意 db 名称为metastore14,并且createDatabaseIfNotExist设置为 true:

另外我们设置了相应的datanucleus-specific属性:

HIVE_CONF_DIR 也设置正确:

但是,当从 hive 客户端连接到 hive14 时,会发生以下错误:

还需要哪些额外步骤?