问题标签 [metastore]

I want to write the equivalent of this sql request in Hive :

How can I access hive's metastore and retrieve all the columns of all the tables stored in a specific database? I know that we can do it by table via describe [table_name] but is there anyway to have all the columns for all the tables in a database in the same request?

我想使用 java 代码连接 MetaStore。我不知道如何在 Hive-Site.xml 文件中设置配置设置，以及我将在哪里发布 Hive-Site.xml 文件。请帮忙。

我正在尝试使用 Hortonworks Sandbox HDP2.2 作为单节点系统在 Hive 14.0 上设置授予权限。这个问题类似于 3 月未回答的问题：在 hive 中授予权限在 hdp2.2 上不起作用。

我遵循了 Hive-Wiki的配置步骤。

登录到 hive shell（使用 root 的 ssh）后，我尝试了：

失败：执行错误，从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。无法为 root 检索角色：此配置中禁用了远程 Metastore 的 Metastore 授权 api 调用。

如果我对另一个使用色调/蜂蜡的用户尝试相同的操作，则查询完成。如果我做

我收到此错误，没有任何日志详细信息：

预期状态已完成，但发现错误

我的设置是这些（用 blanc 制作标签以在此处显示）

• hive-site.xml（在 hive-wiki-link 中列出的那些）

  /li>

• hiveserver2-site.xml（所有设置）

  /li>

希望任何人有一个想法。

[编辑] hive-site.xml中的设置已经设置 - 我没有进行任何更改。

[Edit2]更改设置后，我重新启动了hiveserver2并重新启动了沙箱。

[Edit3]错误消息会出现在每个用户身上，不仅是 root 用户（你可以在错误消息中看到它）。如果我尝试具有管理员角色（hive-site.xml）的用户，例如“hive”，我会遇到同样的错误。

我在 python 中使用 SparkSQL。我创建了一个分区表（大约数百个分区），使用 hiveContext 将其存储到 Hive 内部表中。Hive 仓库位于 S3。

当我简单地执行“df = hiveContext.table(“mytable”)。第一次遍历所有分区需要一分钟。我认为元存储存储了所有元数据。为什么 spark 仍然需要遍历每个分区分区？是否可以避免这一步，让我的启动速度更快？

我已将 spark 与 hive、hadoop 与 sbt build 集成为 sbt/sbt -Pyarn -Phadoop-2.6 -Dhadoop-2.6.0 -Phive -Phive-thriftserver 程序集 sbt/sbt -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver 测试

但是当我使用 sparkSQL 创建表时，它不会在本地 mysql Metastore db 中创建任何表。它正在其他地方创造。我还在 spark 的 conf 目录中包含了 hive-site.xml 文件。

在 Hadoop 中，由于我们已经有了 NameNode 的元数据，它包含块所在的所有信息，现在当我阅读 Hive 的元存储时，我无法了解元存储的用途。为什么我们需要 Metastore 一种新的索引。为什么我们不能使用 Namenode 的元数据而不是使用新事物。

我的机器上有 apache Hive - 0.12.0 和 hadoop - 1.2.1 版本。并将 mysql 用于 hive 元存储。

现在，当我为 Metastore 测试触发 show tables 时，它只显示 20 行/表。

为什么看不到下面的所有表格。我需要为此使用任何其他配置单元版本吗？请建议。

我通过编辑 hive-site.xml 在 Hive 中启用了 Transaction 并使用了 Remote Metastore (MySQL - MariaDB)，如下所示：

当我运行hive --service metastore它显示错误：

回滚错误：autocommit=true 时无法调用回滚

当我在 Hive CLI 中运行查询时，show databases它显示错误：

失败：LockException [错误 10280]：与元存储通信时出错

当我只启用事务或只使用远程元存储时，没有错误。

这是 Hive 日志的一部分：

这些是我正在使用的版本：

我正在尝试查找配置单元远程元存储正在使用Derby还是MYSQL作为数据库？

有没有办法找到这个？

我试图让 kerberos keytab 身份验证工作从 java 到 Hive，但没有找到解决问题的解决方案。

java.io.IOException：来自 org.apache.hadoop.security.UserGroupInformation.loginUserFromKeytab(UserGroupInformation.java:855) 的 keytab {keyTabPath} 的 {krbPrincipal} 登录失败

原因：javax.security.auth.login.LoginException：无法从用户获取密码

在 com.sun.security.auth.module.Krb5LoginModule.promptForPass(Krb5LoginModule.java:789) 在 com.sun.security.auth.module.Krb5LoginModule.attemptAuthentication(Krb5LoginModule.java:654)

我真的很感激一些洞察力来帮助解决这个问题。