问题标签 [apache-hive]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
29545 浏览

hadoop - 在 Hive 中的多个列上有所不同

嗨,Hive 在多个列上支持不同的。就像从表中选择不同的(a,b,c,d)一样。如果没有,有没有办法做到这一点?

0 投票
1 回答
12531 浏览

hive - where 子句中的 Hive 子查询(Select * from table 1 where dt > (Select max(dt) from table2) ..请提出替代方案

我正在寻找蜂巢中的东西

显然 hive 不支持 where 子句中的子查询,而且即使我使用连接或半连接,它也只比较 = 而不是 > (据我所知)。

有人可以建议我在蜂巢中编写相同查询的替代解决方案吗?

0 投票
1 回答
1048 浏览

hadoop - Hive Metastore Sql 服务器:thrift.transport.TTransportException:未指定 keytab

我正在尝试运行Hive metastore

但它在下面抛出错误

org.apache.thrift.transport.TTransportException:在 org.apache.hadoop.hive.thrift.HadoopThriftAuthBridge20S$Server.(HadoopThriftAuthBridge20S.java:337) 在 org.apache.hadoop.hive.thrift.HadoopThriftAuthBridge20S 处未指定密钥表**。 createServer(HadoopThriftAuthBridge20S.java:104) at org.apache.hadoop.hive.thrift.HadoopThriftAuthBridge20S.createServer(HadoopThriftAuthBridge20S.java:74) at org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:5771)在 org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5701) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun .reflect.DelegatingMethodAccessorImpl。在 org.apache.hadoop.util.RunJar.main(RunJar.java:212) 的 java.lang.reflect.Method.invoke(Method.java:606) 处调用(DelegatingMethodAccessorImpl.java:43) 线程“main”中的异常org.apache.thrift.transport.TTransportException:在 org.apache.hadoop.hive.thrift.HadoopThriftAuthBridge20S.createServer( HadoopThriftAuthBridge20S.java:104) 在 org.apache.hadoop.hive.thrift.HadoopThriftAuthBridge20S.createServer(HadoopThriftAuthBridge20S.java:74) 在 org.apache.hadoop.hive.metastore.HiveMetaStore.startMetaStore(HiveMetaStore.java:5771) 在 org .apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5701) 在 sun.reflect。NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method. java:606) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:212)

0 投票
0 回答
2110 浏览

hadoop - Hive Server2 已死且 pid 文件存在 [FAILED]

我有一个简单的 2 节点 cloudera CDH5 集群,在从机中我设置了 Hive 和 Hue。

我可以通过 CLI 即在蜂巢中工作。创建数据库和表时,我无法在 hue 中配置 hive/蜂蜡,这可能是 Hive Server2 已死的原因。请帮我解决这个问题。

以下是一些细节:

/etc/hosts
192.168.1.190 主
192.168.1.191 从

/etc/hive/conf/hive-site.xml

错误日志:
/var/log/hive/hive-server2.log

connect(PlainSocketImpl.java:200) at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:366) at java.net.Socket.connect(Socket.java:529) at org.apache.thrift.transport.TSocket.open (TSocket.java:180) ... 26 更多) 在 org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open(HiveMetaStoreClient.java:393) 在 org.apache.hadoop.hive.metastore.HiveMetaStoreClient.(HiveMetaStoreClient. java:216) ... 24 更多 2015-04-16 19:58:25,074 INFO [main]: session.SessionState (SessionState.java:start(381)) - 此时不需要 Tez 会话。hive.execution.engine=先生。2015-04-16 19:58:26,639 错误 [线程 6]:thrift.ThriftCLIService (ThriftBinaryCLIService.java:run(115)) - 错误:org.apache.thrift.transport.TTransportException:无法在地址 0.0 上创建 ServerSocket .0.0/0.0.0.0:10000。在 org.apache。

太感谢了 :-)

0 投票
2 回答
9126 浏览

hive - 如何访问 Hive 中的 HBase 表,反之亦然?

作为开发人员,我通过使用sqoop job. 问题是我们的数据分析师团队熟悉 MySQL 语法,这意味着他们可以HIVE轻松查询表。对于他们,我需要在 HIVE 中公开 HBase 表。我不想通过在 HIVE 中再次填充数据来复制数据。此外,复制数据将来可能会出现一致性问题。

我可以在不复制数据的情况下在 HIVE 中公开 HBase 表吗?如果是,我该怎么做?另外,如果我insert/update/delete的 HBase 表中的数据将更新的数据出现在 HIVE 中而没有任何问题?

有时,我们的数据分析团队会在 HIVE 中创建表格并填充数据。我可以将它们暴露给 HBase 吗?如果是,如何?

0 投票
0 回答
324 浏览

hadoop - 无法通过伪节点集群上的 pig 读取 hdfs 文件

我有这个非常基本的测试(在安装 hadoop 2.7 和 pig 0.14 之后立即)

该文件存在于 hdfs -

但是,当我运行以下命令时,

我收到以下错误消息 -

进一步的调查揭示了更多信息。如前所述,我可以看到 hdfs 上的文件(从 pig 中通过 ls 命令),也可以从 shell 提示符使用 hadoop fs 命令。但是,pig 和 hive 都无法看到 hdfs 上的文件。

我还尝试使用线虫端口(尝试了不同的值 8020、9000、50070),但行为保持不变。我也尝试查看线虫和数据节点日志,但找不到更多...

需要认真的帮助!

一些问题的答案

进一步的测试表明,hive 能够使用 hdfs,但 pig 仍然不能。我可以在 hive 中创建一个外部表,成功指向示例文件“family”

0 投票
0 回答
821 浏览

oozie - 无法将配置单元作业作为色调中的 oozie 工作流运行

当我将简单的蜂巢作业配置为色调中的 oozie 工作流时,出现以下错误

我的 Hive 脚本文件:

输入文件(/user/mapradm/input-data/table):

请为此提供我很好的解决方案

0 投票
1 回答
1699 浏览

hadoop - 如何从 hive 中删除分区元数据,当使用 alter drop 命令删除分区时

我使用 alter 命令删除了 hive 表中的所有分区

alter table emp drop partition (hiredate>'0');

删除分区后仍然可以看到分区元数据。如何删除此分区元数据?我可以将同一张表用于新分区吗?

在此处输入图像描述

0 投票
2 回答
3895 浏览

hadoop - 是否可以将新的列分区添加到 hive 中已经存在的分区表

我有一个名为employee_part 的分区表。这个表是由hiredate 分区的。它具有如下所示的元数据

在此处输入图像描述

当我尝试将新的列分区添加到 employee_part 表时,我收到一条错误消息

失败:SemanticException 分区规范 {gender=M} 包含非分区列

在此处输入图像描述

请澄清这一点!提前致谢..

0 投票
1 回答
86 浏览

hadoop - 我们必须将数据上传到hadoop集群中的哪个slave

我们已经建立了 2 台机器的 hadoop 集群,我们正在尝试在我们的实时项目中实现集群,我们需要在多节点集群中上传数据的信息,假设如果我有 9 个数据节点,我们需要哪个从节点上传数据。我可以选择将数据上传到 2 个从节点,如果我将数据上传到 hdfs,它会复制到另一个从节点吗?正如我们观察到的,当前使用 /tmp 位置的 hdfs 以防万一 /tmp 已满,HDFS 将使用哪个位置。