问题标签 [datamart]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
915 浏览

data-warehouse - 数据仓库原理和 NoSQL

使用 MongoDB、CouchDB 和相关技术,我们可以获得更快的查询,那么这仍然有效吗?

“交易数据的副本,专门针对查询和分析进行了重组。” (R. Kimball 数据仓库工具包,1996

我的意思是,我们真的需要将我们的数据重组为 OLAP 方案来查询它以进行分析吗?更具体地说,是否可以使用 NoSQL(不一定使用 OLAP 建模)来实现用于分析目的的钻取、切片和切块以及其他报告?我们是否也可以克服 OLAP 的“数据子集”查询限制并使用 NoSQL 报告整个数据世界?

0 投票
2 回答
2792 浏览

data-warehouse - 交易事实表法

我正在研究金融数据集市结构。而且我对这样做的更好方法有一些疑问。源系统数据库 Dynamics AX 2009 具有三个用于客户交易的表。一张用于未结交易的表,客户仍需要为服务/产品付费;一张用于结算交易的表,其中保存着客户已经支付的款项;最后是一个包含所有客户交易的表,包含从开放到结算的交易以及作为客户到银行或分类账账户的其他交易。

我想到了两个选项,首先我将维护一个代表三个表的事实表,即未结交易的事实、任何客户交易的事实和结算交易的事实。其次是创建一个事实来保存所有事务,为此我必须对三个表进行完全连接。我不确定这两种方法,因为第一种方法似乎是从生产中复制表并创建正确的维度。在第二个中,我将创建一个庞大的事实表,其中数据会不断变化,因为开放事务在结算时会在源系统上被删除。

另一个疑问,我是否应该使用 scd(缓慢变化的维度)结构创建一个事实来维护历史数据?(开始日期、结束日期、标志)

0 投票
2 回答
543 浏览

hadoop - 在数据仓库中处理大数据

我是大数据概念的学习者。根据我的理解,大数据对于处理非结构化数据和大容量数据至关重要。当我们查看数据仓库 (DW) 的大数据架构时,源数据是通过 Hadoop(HDFS 和 Mapreduce)提取的,相关的非结构化信息是转换为有效的业务信息,最后通过ETL处理(连同现有的结构化数据处理)将数据注入DW或DataMart。

但是,我想知道 DW 对组织(由于大数据)所需的新技术/新维度模型或存储要求是什么,因为我尝试学习的大多数教程/资源仅在源头上谈论 Hadoop,而不是在目标。由于大量数据,大数据的引入如何影响组织的预定义报告/临时分析

感谢您的回复

0 投票
1 回答
2505 浏览

data-warehouse - “计数”度量是否应该存储在事实表中?

我有一个事实表,其中包括某些服务的“以小时为单位的等待时间”。我有很多维度可以描述基于不同切片的等待时间;但是,我也有兴趣了解有多少人(计数)通过相同维度的过滤器获得服务。

鉴于等待时间(以小时为单位)的维度和获得服务的人数完全相同,我认为将其保存在同一个事实表中是最佳实践。我的问题是:

  1. 提到的计数度量是否应该有不同的事实表?
  2. 我将如何包括这项措施?我只是在每一行中放 1 吗?因为不管等待时间长短,他们只获得了一次服务(在我的场景中,你不能高于/低于 1)。
0 投票
1 回答
391 浏览

data-warehouse - 我们什么时候使用 Datamart 和 Datawarehousing?

我是 DW 的新手。什么时候应该使用 Datamart 这个词,什么时候应该使用 Datawarehousing 这个词。请举例说明,可能是你自己的例子,也可能是 Adventureworks 方面的例子。

0 投票
1 回答
122 浏览

database-design - 建模难度 星型模式

首先,我很抱歉标题......一旦有人回答它并且我明白我的实际问题是什么,我会提出一个更好的。

我正在创建一个事实表,它将衡量与学校相关的资源数量:

学校
数量 学生
数量 员工
数量 计算机数量(行政使用和学生使​​用)


FACT_SCHOOL_RESOURCES

School (FK)                                    
Location (FK)                                 
Education Type (FK)                     
Total_Schools*                               
Total_Students                              
Total_Employees                           
Total_Students_Computers           
Total_Administration_Computers   

*在学校数量中,每条线将具有相同的值 (1)。

我的问题是有一些与学校有关的“基础设施”问题,我实际上不能将其作为其属性之一(名为“基础设施”的属性),因为有不止一种类型(能源、水源, Waste Disposal...) 并且我不能将每种类型都用作属性,因为对于每种类型,我与我的学校维度是多对多的关系,例如:

电源
太阳能电池板
发电机
城市能源供应
...

废物处理
垃圾填埋场
焚烧
回收
堆肥
废物转化为能源
...

使用这些示例,学校可以同时进行垃圾填埋和回收,因为它可以处理废物或利用城市能源供应,同时还可以使用发电机或太阳能电池板。

所有这些都是必要的,因为研究表明,其中一些问题(以及我没有提到的许多其他问题)与“教学质量”有关,应该有一种方法来分析这一切。

在星型模式上解决此问题的最佳方法是什么?可能吗?

0 投票
2 回答
1100 浏览

data-warehouse - 识别数据仓库设计中的事实表

我正在尝试使用包含有关帮助台服务调用信息的 Excel 表中的星型模式设计我的第一个数据集市,该表包含 33 个字段,包括不同的信息,我无法识别事实表,因为我想做稍后根据不同的 KPI 报告。我想知道如何轻松识别事实表度量,我还有一个问题是:事实表可以只包含维度的外键而没有度量吗?在此先感谢大家,并为我的英语不好感到抱歉。

0 投票
1 回答
117 浏览

export - 从特定数据集市导出表数据?

要使用 Sybase 从数据仓库中的所有数据集市中获取所有表的列表,我们使用

但是,我想从特定数据集市(“DM”)中获取和导出所有表。我对 Sybase 比较陌生,所以我的直觉告诉我要按照以下几行做一些事情:

这显然行不通,否则我不会在这里:)。有人可以指出我正确的方向吗?

0 投票
1 回答
1077 浏览

pentaho - 如何用 Pentaho Kettle 填充我的事实表

我想使用 PDI 将包含许多列的 csv 文件中的数据加载到我在 SQL Server 上设计和实现的数据集市中,但我不知道如何将维度的外键加载到我的事实表中,你能给我一个关于如何实现我的目标的想法?

这是我的数据集市的星型模式:

在此处输入图像描述

包含原始数据的 csv 文件由除主键之外的所有维度列组成,并且包含在 fact : handling_time 中的列也存在于 csv 文件中。

0 投票
1 回答
177 浏览

pentaho - 在 PDI 中检索事实表的技术密钥

如何在 Pentaho Kettle 中从维度检索到事实表的技术密钥,只有尚未加载的新密钥,我尝试使用 Dimension Lookup 但它没有用。

这是我的架构:

星型图

我已经创建了直接从 csv 文件加载维度的转换以及并行执行这些转换的作业。