12

我来自 SQL Datawarehouse 世界，我从平面提要​​生成维度和事实表。在一般数据仓库项目中，我们将提要分为事实和维度。前任：

在此处输入图像描述

我对 Hadoop 完全陌生，我开始知道我可以在 hive 中构建数据仓库。现在，我熟悉使用 guid，我认为它适用于 hive 中的主键。那么，以下策略是在 hive 中加载事实和维度的正确方法吗？

  1. 将源数据加载到配置单元表中；比如说 Sales_Data_Warehouse

  2. 从 sales_data_warehouse 生成维度；前任：

    从 Sales_Data_Warehouse 中选择 New_Guid()、Customer_Name、Customer_Address

  3. 当所有维度都完成后，加载事实表，如

    SELECT New_Guid() AS 'Fact_Key', Customer.Customer_Key, Store.Store_Key... FROM Sales_Data_Warehouse AS 'source' JOIN Customer_Dimension Customer on source.Customer_Name = Customer.Customer_Name AND source.Customer_Address = Customer.Customer_Address JOIN Store_Dimension AS 'Store' ON Store.Store_Name = Source.Store_Name JOIN Product_Dimension AS 'Product' ON .....

这是我应该在配置单元中加载我的事实和维度表的方式吗？

此外，在一般仓库项目中，我们需要更新维度属性（例如：Customer_Address 更改为其他内容）或必须更新事实表外键（很少，但确实会发生）。那么，我怎样才能在 hive 中加载 INSERT-UPDATE 。（就像我们在 SSIS 中查找或在 TSQL 中执行 MERGE 语句一样）？

4

1 回答 1

1

我们仍然可以从 Hadoop 和 Hive 上的维度模型中受益。然而，Hadoop 的一些特性要求我们稍微采用标准的维度建模方法。

Hadoop 文件系统是不可变的。我们只能添加但不能更新数据。因此，我们只能将记录附加到维度表（虽然 Hive 添加了更新功能和事务，但这似乎是相当错误的）。Hadoop 上的渐变维度成为默认行为。为了在维度表中获取最新和最新的记录，我们有三个选项。首先，我们可以创建一个使用窗口函数检索最新记录的视图。其次，我们可以在后台运行一个压缩服务来重新创建最新状态。第三，我们可以将维度表存储在可变存储中，例如 HBase 和跨两种存储类型的联合查询。

数据跨 HDFS 分布的方式使得连接数据的成本很高。在分布式关系数据库 (MPP) 中，我们可以将具有相同主键和外键的记录共同定位在集群中的同一节点上。这使得加入非常大的表相对便宜。没有数据需要通过网络传输来执行连接。这在 Hadoop 和 HDFS 上非常不同。在 HDFS 上，表被分成大块并分布在我们集群上的节点上。我们无法控制单个记录及其密钥在集群中的分布方式。因此，在 Hadoop 上连接两个非常大的表非常昂贵，因为数据必须通过网络传输。我们应该尽可能避免连接。对于大型事实和维度表，我们可以将维度表直接反规范化为事实表。对于两个非常大的事务表，我们可以将子表的记录嵌套在父表中，并在运行时展平数据。我们可以使用 SQL 扩展，例如 BigQuery/Postgres 中的 array_agg 等来处理事实表中的多个粒度

我也会质疑代理键的有用性。为什么不使用自然键？也许复杂复合键的性能可能是一个问题，但否则代理键并不是真正有用的，我从不使用它们。

于 2017-07-01T07:24:49.890 回答