问题标签 [hiveddl]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
3 回答
227 浏览

hive - 从 Hive 中的现有表创建新表

我正在尝试使用 Hive 查询使用现有表创建一个新表。
在创建新表时,我想添加一个新列并为所有行插入当前时间戳。例如:

退出表:


新表:

我正在尝试使用 JDBCTemplate 执行此查询。

我试过的:

但这会复制使用旧值创建新表,我想在表创建期间添加新列并插入值。



请帮忙。

0 投票
2 回答
373 浏览

hive - 了解 Hive 表创建表示法

我遇到了需要转换为 Redshift/MySql 等效的 Hive 表。我无法理解 Hive 查询结构,希望得到一些帮助:

我无法理解 PARTITIONED BY 子句。如果我理解正确,这与 MySQL 表分区不同,并且是 Hive 特定的动态分区。分区不定义列或键,按当前日期进行分区。

这是否意味着 table_1 按日期分区?每天都有单独的分区?

然后稍后在代码中有类似于

在这种情况下,这是否意味着只yyyymmdd为连接选择插入的行?

谢谢你。

0 投票
1 回答
76 浏览

regex - Hive RegEx Serde 不起作用并加载为 NULL

我正在尝试使用 Serde Regex 属性创建一个配置单元表来加载以下文件。

输入文件:

Hive 创建表查询:

将路径'/user/t04413b/test.log'中的数据加载到表logs3中;

我在 Rubular.com 中测试了正则表达式,它运行良好,但在 SerDe 正则表达式中它不起作用。有人可以帮忙解决吗?谢谢

0 投票
1 回答
475 浏览

hadoop - 如何在 aws athena 中创建结构数组 - 镶木地板数据上的配置单元

我尝试在 aws-athena 上创建一个表,并在镶木地板数据上使用配置单元,其中包含以下内容:

我反复收到错误

第 9:12 行:不匹配的输入 'struct' 期望 {'(', 'array', '>'} (服务:amazonathena;状态代码:400;错误代码:invalidrequestexception;请求 ID:)

语法似乎很好,但不确定。数据存储在 s3 路径中,知道是什么导致了这个问题吗?

0 投票
1 回答
693 浏览

regex - 正则表达式创建 AWS Athena 表 (RegexSerDe)

我正在尝试根据存储在 S3 中的日志创建 AWS Athena 表。我打算使用 RegEx 创建表格,但找不到适合我的 RegEx

日志采用这种格式

0 投票
1 回答
115 浏览

apache-spark - 无论如何要更改外部配置单元表的非分区列的数据类型?

我正在尝试更改作为分区表的外部配置单元表的非分区列的数据类型?

例如,我有一个名为trans的分区表,其中有 5 列。 交易(数据类型 = 字符串),产品(数据类型 = 字符串),数量(数据类型 = 小数(7,2)),年份(数据类型 = int),周(数据类型 = int),日期(数据类型 =日期)

trans 表是外部的,并按年、周、日期分区。

现在我必须将数量的数据类型从十进制(7,2)更改为十进制(15,2)。我们怎么做?我不想用更新的数据类型重新处理整个表。是否有任何直接查询或命令来实现这一点?

我确实使用了命令/查询:

ALTER TABLE trans CHANGE quantity quantity decimal(15,2);

但这正在更改配置单元元存储中元数据的数据类型,但未更改数据级别的数据类型,这意味着 Parquet 文件中它没有更改数据类型,因此当我尝试从 spark 中选择数量列时,我得到了下面提到的错误。

0 投票
1 回答
512 浏览

hadoop - Hive 外部表 - 删除分区

面临一个奇怪的问题。Alter table删除分区的命令适用于 > 或 < 或 >= 或 <= 符号,但不适用于 = 检查。

工作命令:

命令不起作用并引发错误,指出分区不存在:

当我这样做时show partitions,我可以看到“20231230”分区。

注:bizdate是一个varchar(10)

0 投票
1 回答
257 浏览

apache-spark - 从 CSV 分号分隔的数据在 HIVE 中创建表

我是 HIVE 的新手,这是我第一次接触它

这是我的数据样本

年龄;“工作”;“婚姻”;“教育”;“默认”;“余额”;“住房”;“贷款”;“联系人”;“日”;“月”;“持续时间”;“活动”; “pdays”;“以前”;“poutcome”;“y” 58;“管理”;“已婚”;“第三”;“否”;2143;“是”;“否”;“未知”;5;”可能”;261;1;-1;0;“未知”;“否” 44;“技术员”;“单身”;“次要”;“否”;29;“是”;“否”;“未知” ;5;“可能”;151;1;-1;0;“未知”;“否”

我尝试使用以下命令创建表:

我创建了表,然后我在其上运行的任何查询(除了 select * from table)都会产生错误。

我认为它与“;”有关 数据之间。

有什么建议么?

0 投票
1 回答
91 浏览

hadoop - 非字符串值在 Hive 中显示为 NULL

我是 HIVE 的新手,正在创建我的第一张桌子!

由于某种原因,所有非字符串值都显示为 NULL(包括 int、BOOLEAN 等)

我的数据看起来像这个示例行:

我用它来创建表:

0 投票
1 回答
569 浏览

json - 尝试在配置单元中创建外部表时出错

我正在尝试使用带有 hadoop 的 hive 创建一个外部表,但不知何故它失败了。这些是我尝试运行查询时遇到的错误。

我该如何解决?