问题标签 [hive-partitions]

作为一个例子，考虑我有一个所有重大体育赛事发生的数据。下面给出的架构

事件名称、日期、月份、年份、城市

这些数据在 HDFS 中按年、日、月进行物理结构化。

现在我想根据其他一些列值创建虚拟分区，例如。城市。数据将仅以年、日、月结构物理存储在 HDFS 中，但我的元数据会跟踪虚拟分区。

Hive Metastore 可以为我做吗？

我正在尝试将数据从普通表加载到 Hive 分区表。

这是我的正常表语法：

这是我的新分区表语法：

以下是我如何将数据加载到 y：

这是我的例外：

我有一个 HiveQL 脚本，它可以基于 hive 表执行一些操作。但在做这些操作之前，我会检查需要的分区是否存在，如果不存在，我会终止脚本。那么我该如何实现呢？

在将数据插入表配置单元时使用以下查询引发错误“动态分区不能是静态分区'3'的父级”

INSERT INTO TABLE student_partition PARTITION(course , year = 3) SELECT name, id, course FROM student1 WHERE year = 3;

请说明原因。。

我在 Hive 中创建了一个分区视图，如下所示

基础表在“日期”列上进行分区。当我使用时，DESCRIBE FORMATTED VIEW_NAME我可以看到分区信息为空，如屏幕截图所示。 在此处输入图像描述

如果我使用 SHOW CREATE TABLE View_Name，我会得到没有分区的视图定义，如下所示

请让我知道我错过了什么

我有大量与交易相关的数据集。我需要从事务日期（每天增加）或状态（数量有限）中选择分区列。哪个是理想的选择，为什么？

我有一个没有主键并且按日期分区的表；像这样的列：

它包含来自网站游戏的用户生成事件，它们每秒触发一次。我想返回一个批次，其中包含当天前 6 个用户（表格顶部）生成的所有事件（包括重复行），用于检查条件：

地区 = 美国

地区 = 欧盟

你能提供一个我应该从哪里开始的示例代码吗？我的一个朋友提出了一些关于 RANK() 的建议，但我从未使用过它。

谢谢 ！

在SQLFiddle 和预期输出中添加虚拟数据：

我创建了一个 hive 表，其基本位置指向 AWS S3 位置。但是，我想使用“插入覆盖”查询在 HDFS 集群上创建一个分区。

以下步骤：

下面的查询有效，但我不想用“静态分区”方法处理它。

您能否帮助我了解如何在“插入覆盖”动态查询中设置分区位置？

在 Apache Hive 中交换分区时的用户体验如何？它是原子的还是离散的，由多个步骤组成，例如：

?