问题标签 [metastore]

我正在尝试进入hiveshell，但出现以下错误：

当我尝试在配置单元中创建表时，收到以下错误消息。知道为什么会这样吗？

失败：执行错误，从 org.apache.hadoop.hive.ql.exec.DDLTask 返回代码 1。MetaException（消息：对于直接 MetaStore DB 连接，我们不支持在客户端级别重试。）

以下是日志：

I am trying to setup a develop environment for a Spark Streaming project which requires write data into Hive. I have a cluster with 1 master, 2 slaves and 1 develop machine (coding in Intellij Idea 14).

Within the spark shell, everything seems working fine and I am able to store data into default database in Hive via Spark 1.5 using DataFrame.write.insertInto("testtable")

However when creating a scala project in IDEA and run it using same cluster with same setting, Error was thrown when creating transactional connection factory in the metastore database which suppose to be "metastore_db" in mysql.

Here's the hive-site.xml:

the machine which I was running IDEA, can remotely login Mysql and Hive to create tables, so there should have no problem with permissions. Here's the log4j Output:

=============== Can anyone help me to find out the reason? Thanks.

例如：

基本上是过滤、分组、聚合——它将生成 MR 作业，我们将能够在资源管理器 UI 中看到它。

让我们说例如：

这些类型的查询不需要 MR 作业并且不会显示在 RM 中，因为此信息在 MetaStore 中作为属性可用。蜂巢在哪里记录？我们可以识别这些查询吗？

我们有两个集群，一个是旧的，一个是新的。他们都在 AWS - EMR 上。这些集群上的 Hive 指向 RDS 上的相同 Hive 元存储。我们正在从旧迁移到新。

现在的问题是，如果我停止旧集群，访问旧表会有任何问题吗？" 所有数据都在 S3 上。所有表都是外部的。但数据库仍然在 HDFS 上......就像

如果我停止旧集群，这个位置是无效的，这使得 db 和表无效？尽管它们是外部的。

我真的不确定这是否会成为一个问题，但这是在生产中，所以我试图找出是否有人已经遇到过这个问题。

谢谢！

当我键入“hive”命令时，它会挂起而不会出现 hive 提示，当我检查日志时发现以下错误。

有人可以建议我在这里缺少什么吗？

我正在使用 Apache spark-sql 从数据库中查询数据。我知道 Spark 默认共享相同的配置单元元存储。我已根据具有超过 300k 个不同值的列 id 对输入数据进行了分区。截至目前，该表有超过 30 万个分区，并且会定期增加。

是否会因此而出现任何问题？

我正在尝试使用 java 中的元存储客户端从配置单元元存储中获取表属性，例如表 db、名称、所有者和 hdfs 位置。我想我可以得到表数据库和名称，但我不知道如何获取所有者和 hdfs 位置之类的东西。可能吗？我已经在文档和互联网上搜索了几个小时，但没有骰子。

尝试使用 powershell cmdlet 创建 Azure HDInsight 群集时出现错误：

看起来powershell无法识别参数，因为它要求输入它们（见下文）。我输入了所需的参数（Location、ClusterName、ClusterSizeInNodes），然后出现错误。

有人知道它为什么会发生或 smdlet 有什么问题吗？

在 cloudera 下，我正在尝试将配置单元元存储配置为高可用性。

所以我按照下面的教程进行操作：http: //www.cloudera.com/content/www/en-us/documentation/archive/cdh/4-x/4-7-1/CDH4-Installation-Guide/cdh4ig_hive_metastore_configure.html

我的问题是：我需要在配置单元元存储服务器和复制数据库之间添加负载平衡器吗？

因为我认为我们要么需要提供数据库的 URI 列表来配置元存储服务器，要么使用负载平衡器在发生故障时切换到其他数据库。

提前致谢