问题标签 [hive-metastore]

我已经成功地将远程配置单元元存储与 apache Drill 连接起来。我能够显示远程 hdfs 的数据库，也能够从数据库中查看表结构。但是在查询数据库时出现错误

这是我的 apache hive 配置

这是成功的查询 jdbc:drill:zk=local> describe data_mcsc_mcsc_bill_info；

和结果。

运行 spark-shell 时出现以下错误

我对 MetaStore 的目的有点困惑。在 hive 中创建表时：

所以我知道这个命令获取HDFS中文件的内容并创建它的MetaData形式并将其存储在MetaStore中（包括HDFS中每一行的列类型、列名、它在HDFS中的位置等）文件）。它实际上并没有将数据从 HDFS 移动到 Hive。

但是存储这个元数据的目的是什么？

例如，当我使用 Spark SQL 连接到 Hive 时，MetaStore 不包含 HDFS 中的实际信息，而只包含 MetaData。那么 Hive 是否仅使用 MetaStore 来针对 HiveQL 查询执行解析和编译步骤并创建 MapReduce 作业？

我已经在我的 Ubuntu 16.04 笔记本电脑上手动安装了 hadoop 和 hive。Hive 工作正常，我创建了一些测试数据库 (derby)。
在重新启动笔记本电脑时，我发现 hive 正在运行，但运行任何命令，如 show databases，它给出了错误。

我按照 web.xml 给出的解决方案进行了操作。IE：

1) 将 metastore_db 重命名为 metastore_db.tmp。

2) 运行 schematool 生成新的 metastore_db

3) 删除 tmp metastore_db.tmp （运行 hive 时不删除会出错）

现在我可以运行 hive 但在运行 show databases 时我只看到默认数据库。

有什么方法可以将我之前创建的数据库（例如保存在 hdfs 文件系统中的 /user/hive/warehouse/computersalesdb.db）添加到新生成的元存储中？

* 更新 *

经过进一步分析，我发现，在我运行 hive 的地方创建了 metastore_db 文件夹。所以这似乎是问题的原因。解决方案是：

1) 正如@cricket_007 在评论中所建议的那样，在 mysql 或您正在使用的任何其他 rdbms 中有元存储。

2) 总是从同一个文件夹运行 hive

3）设置属性“javax.jdo.option.ConnectionURL”在特定文件夹中创建元存储，该文件夹在hive-site.xml中定义

留下这个评论是为了像我这样的其他人的利益：D

我有一个名为 EMPLOYEE 的表，其中包含 ID、NAME、DESIGNATION、CITY、COUNTRY、CONTINENT 列。在 CONTINENT、COUNTRY、CITY 上具有 3 级分区。现在我需要知道最近创建的分区在特定时间戳之后说。注意：假设未提供对 mysql Metastore 的访问。

我尝试按照
https://cwiki.apache.org/confluence/display/Hive/Streaming+Data+Ingest#StreamingDataIngest-StreamingRequirements启用配置单元流

我已更改所有配置属性以启用配置单元流，但配置单元元存储服务运行时出现以下错误，

18/02/09 12:22:51 ERROR compactor.Initiator: Caught an exception in the main loop of compactor initiator, exiting MetaException(message:Unable to connect to transaction database org.postgresql.util.PSQLException: ERROR: relation "compaction_queue" does not exist

注意：我使用 PostgreSQL for JDBC Metastore 和 hive 版本 2.0.1

帮助我解决此错误并开始使用 Hive Streaming。

我在一个环境中工作，我有一个 S3 服务被用作数据湖，而不是 AWS Athena。我正在尝试设置 Presto 以便能够查询 S3 中的数据，并且我知道我需要通过 Hive Metastore 服务将数据结构定义为 Hive 表。我在 Docker 中部署每个组件，因此我希望尽可能减小容器大小。我需要哪些 Hive 组件才能运行 Metastore 服务？我实际上并不关心运行 Hive，只关心 Metastore。我可以减少需要的东西，还是已经有一个预配置的包呢？我无法在网上找到任何不包括下载所有 Hadoop 和 Hive 的内容。我正在尝试做的事情可能吗？

我正在尝试使用自定义输入运行 pySpark 作业，以进行测试。该作业具有三组输入，每组都从不同元存储数据库中的表中读取。

在 spark 中读取数据：hiveContext.table('myDb.myTable')

测试输入是三个文件。为了不更改任何原始代码，我将所有三个输入读入DataFrames，并尝试使用myDF.registerTempTable('myDb.myTable').

问题是火花失败了org.apache.spark.sql.catalyst.analysis.NoSuchTableException。

我也试过：

但这也失败了。

知道为什么找不到表吗？

使用 Spark 1.6

我正在通过 oozie spark action 运行 spark 作业。spark 作业使用 hivecontext 来执行一些要求。集群配置了 kerberos。当我使用 spark-submit 表单控制台提交作业时，它运行成功。但是当我从 oozie 运行作业时，出现以下错误。

工作流.xml

我是否需要在 workflow.xml 中配置与 Kerberos 相关的任何内容？我在这里有什么遗漏吗。

任何帮助表示赞赏。

提前致谢。

我想使用org.apache.hadoop.hiveMetastore。

hive(1.1) 和 hadoop(2.6 版) 安装在 linux 服务器上。我的电脑有一个windows操作系统。在这里，我正在尝试创建 Hive conf。

但是我遇到了一个问题HiveConf hiveConf = new HiveConf();

严重：无法在 hadoop 二进制路径中找到 winutils 二进制文件 java.io.IOException：无法在 Hadoop 二进制文件中找到可执行的 null\bin\winutils.exe。在
org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:379) 在
org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:394) 在 org.apache.hadoop.util.Shell.( Shell.java:387) 在
org.apache.hadoop.hive.conf.HiveConf$ConfVars.findHadoopBinary(HiveConf.java:2065)
在 org.apache.hadoop.hive.conf.HiveConf$ConfVars.(HiveConf.java:332 )
在 org.apache.hadoop.hive.conf.HiveConf.(HiveConf.java:95) 在 Main.main(Main.java:11) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
在 java.lang.reflect.Method.invoke(Method.java:497) 在 com。 intellij.rt.execution.application.AppMain.main(AppMain.java:144) org.apache.hadoop.hive.conf.HiveConf.(HiveConf.java:95) 处
的线程“main”java.lang.ExceptionInInitializerError 异常
Sun.reflect.NativeMethodAccessorImpl.invoke0 的 Main.main(Main.java:11) (Native Method) sun.reflect.NativeMethodAccessorImpl.invoke
(NativeMethodAccessorImpl.java:62)
在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
在 java.lang.reflect.Method.invoke(Method.java:497) 在 com.intellij.rt.execution.application.AppMain.main(AppMain.java :144) 原因：java.lang.RuntimeException: 无法
在 org.apache.hadoop.hive.shims.ShimLoader.loadShims(ShimLoader.java:86) 的类 null 中加载 shims
在 org.apache.hadoop.hive.shims.ShimLoader.getHadoopShims(ShimLoader.java:62) 在 org.apache.hadoop.hive.conf.HiveConf$ConfVars.(HiveConf.java:335) ... 7 更多: java.lang.NullPointerException at java.lang.Class.forName0(Native Method) at java.lang.Class.forName(Class.java:264) at org.apache.hadoop.hive.shims.ShimLoader.loadShims(ShimLoader.爪哇：83）... 9更多

我应该在我的 Windows（winutils.exe）上安装 hadoop 客户端吗？还是我应该包含更多库？

另外，我只需要设置 confhiveConf.setVar(HiveConf.ConfVars.METASTOREURIS, "thrift://server:port")吗？

还是与设置smth有关？

任何建议将不胜感激。