问题标签 [hiveql]

我想编写一个依赖于传递到脚本中的参数的配置单元查询。这些参数可能需要我从未知数量的列中进行选择。我想要做的是让传递给脚本的参数之一是包含列名的字符串，由一些正则表达式分隔，可能是逗号。我一直在努力尝试使用拆分 UDF 将简单字符串转换为数组，并在查询中使用结果数组。基本上，给定 A="Foo,Bar" 我想得到 B=[Foo, Bar] 然后能够执行查询，例如 SELECT B[0] from tablename; 澄清：我正在尝试拆分我传入的变量。

编辑：我已经意识到理想情况下我不会这样做 - 有什么方法可以构建一个配置单元查询并将其传递进去？

EDIT2：使用 -e 标志。不是真正的最佳实践，但我看不出另一种方法来做到这一点。也许使用猪会是一个更好的选择。

我在 Hive 中创建了一个订单表。

我希望执行类似于以下的查询：

我指的是 Hive 中的窗口化

我不确定我是否掌握了语法——即使在单个查询中，我们是否也必须在模式之间切换？

虽然语法错误可能是原因，但还有其他原因吗？

我正在尝试在 HiveQL 中翻译不同的 PL/SQL 脚本。

这些不同的脚本 fts 用于 ETL 过程，以从不同的表导入数据或将数据导入到不同的表中。

我正在尝试使用 HiveQL 在 Hadoop/Hive 中做同样的事情

但是，这个脚本之一给我带来了一些问题。

这是我的 PL/SQL 脚本：

有没有办法用 Hive 做到这一点？

谢谢你的帮助。

我必须通过 Sqoop 将超过 4 亿行从 MySQL 表（具有复合主键）导入 PARTITIONED Hive 表 Hive。该表有两年的数据，列的出发日期从 20120605 到 20140605，一天有数千条记录。我需要根据出发日期对数据进行分区。

版本：

阿帕奇 Hadoop - 1.0.4

阿帕奇蜂巢 - 0.9.0

Apache Sqoop - sqoop-1.4.2.bin__hadoop-1.0.0

据我所知，有3种方法：

1. MySQL -> Non-partitioned Hive table -> INSERT from Non-partitioned Hive table into Partitioned Hive table
2. MySQL -> 分区 Hive 表

3. MySQL -> Non-partitioned Hive table -> ALTER Non-partitioned Hive table 添加 PARTITION

   1. 是我正在关注的当前痛苦的一个

   2. 我读到在 Hive 和 Sqoop 的更高版本（？）中添加了对此的支持，但找不到示例

   3. 语法要求将分区指定为键值对——在数百万条记录无法想到所有分区键值对的情况下是不可行的 3。

任何人都可以提供方法 2 和 3 的输入吗？

我有一张桌子，我添加了一个新列。如何为该新列放置/加载数据？

例如：

我尝试在集群节点的本地计算机上使用 hive，但出现以下错误

当我尝试在集群节点上做同样的事情时，它工作正常我已经能够使用 hive [

我不确定为什么会这样。

我机器上的 hadoop 版本给出以下输出::

>

I'm going through the installation of Hadoop/Pig/Thrift/Hive. I've got it all working so far, however I am running into an issue when creating a table which contains a Serde. This is actually a copy/paste from the official documentation from Hive.

Can anyone tell me what is wrong with it?

The error which I encounter when running this through is:

我正在尝试在 hive 中翻译一些 PL/SQL 脚本，但我遇到了一个 HiveQL 脚本错误。

错误是这个：

我认为错误来自脚本的这一部分：

但我在网上找不到任何解决方案。

谢谢你的帮助 ：-）

我是 hive 新手，想知道是否有像我们在 SQL 中那样将数据插入 Hive 表的方法。我想将我的数据插入蜂巢中

我已经读到您可以将数据从文件加载到配置单元表，或者您可以将数据从一个表导入配置单元表，但是有没有办法像在 SQL 中那样附加数据？

我想在 Hive 中找到查询的预期运行时间。使用 EXPLAIN 给出执行计划。有没有办法找到预期的时间？

我需要 Hive 相当于 SQL 查询 EXPLAIN COSTS 。