问题标签 [datamart]

我正试图了解 Databricks。

我发现文档逐步从 S3 或 Azure Datalake 导入数据，然后输出到 Azure Synapse Analytics 或其他数据仓库解决方案。

快速播放后，我发现您可以简单地将表保存在 Databricks 中，使用 SQL 访问它，甚至将其作为源拉入 PowerBI。

所以我的问题是：对于一个小型 Datamart（10 个维度，5 个事实），当我可以简单地将数据留在 Databricks 中的表中然后从那里直接从我的报告工具访问它？

先感谢您。

安迪

我有一个数据集市，它在 BigQuery 数据库中保存了数十亿个事件记录。每条记录都有一个唯一的事件 ID，并包括一个属性——我们称之为属性“x”——在创建时设置一个临时值。

此属性值是临时的，但可能需要在稍后阶段更新。在接下来的 20 到 90 天内，运行各种数据挖掘任务，这些任务可能会为属性“x”提供一个新值。

进行此类更新的最佳方法是什么？

我有两个想法1）。将属性“x”移出事件记录，在事件记录和维度之间添加一个新维度和多对多连接表。这样我只需要更新连接表。我的数据工程师担心这会影响查询/报告性能。2）。将新的“创建日期”记录添加到事件表中，并将检索键更改为事件 ID 加上最近创建日期的组合。这将允许我通过写入具有相同事件 ID 和新属性“x”值以及更新日期创建值的新记录来更新属性“x”。

想法？

我遵循了 kimball 方法，但问题是我没有在星型模式之前创建数据集市。现在我的问题是我可以在 SSAS 中创建数据集市，还是必须在 kimball 方法中的模式之前创建这些集市？

更多信息：我正在我的 FYP 中为零售店建造一个仓库。

我正在尝试以正确的方式实现事实表及其汇总，以便有朝一日能够将其转移到某个 BI 系统

而且，根据Oracle的文章和KimballGoups的文章，据我了解，整个设计必须遵守严格的原则

所以，假设有一张桌子fact_sales：

假设需要创建另一个表，按商店汇总，省略产品列，所以，它看起来像这样fact_sales_by_store：

而且，正如我猜想的那样，事情并没有那么简单，要使 BI 的聚合导航正常工作，在维度上肯定有一些技巧，但我无法从文章中得到它

正如我所见/猜测的那样，暗淡和事实表之间必须是一些“逻辑表源”，还是一些层次结构暗淡？

你能根据那个例子进一步指出我吗？）谢谢

我有两个事实表（购买和缺陷），它们都链接到同一个维度。所以我的问题是我可以将这两个事实合并到一个事实表中（将所有 KPI 放在一个事实表中）。

谢谢你。

请我在这个概念上苦苦挣扎，这是我的数据库的关系图：

所以生产订单只有一台机器，它有它的开始和结束日期以及要生产的数量。该步骤每天都有特定订单的生产。我所做的是我创建了一个名为生产订单的维度，它具有（开始日期、结束日期、数量和 ID）-维度机器
-维度日期来设计生产日期-
维度 etat（是或否）如果生产结束，则为是（今天的日期 >
结束日期）-如果我们在结束日期之前生产了所有数量，则维度失败（是或否）
-事实是 st​​epProduction 具有 id_machine 和 id_ordreprod 以及 id_date 和数量。

但是有人告诉我我应该将我的事实 3time 与日期维度联系起来，所以我不应该放置开始日期和结束日期维度。

所以请有人告诉我我做的是对的！谢谢

我将设计一个数据仓库（虽然这不是一个简单的过程）。我想知道整个 ETL 过程，数据仓库中的数据将如何提取/转换到数据集市？Datawarehouse vs Datamart 中是否有任何模型设计？通常也有starschema或雪花？所以我们应该像下面这样放置表格

在数据仓库中 dim_tableA dim_tableB fact_tableA fact_tableB

而在 Datamart A dim_tableA（来自数据仓库的完整副本）fact_tableA（来自数据仓库的完整副本）

在 Datamart B dim_tableB（来自数据仓库的完整副本）fact_tableB（来自数据仓库的完整副本）

它是真实的例子，可以展示数据仓库和数据集市之间的模型差异吗？

有人可以建议在 GCP 平台上以最大成本优化创建数据库和数据集市的最佳方法吗？我们将数据存储在 Bigquery 和 Google Cloud 平台中。

谢谢！