问题标签 [datamart]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1029 浏览

mysql - 建立数据集市您是否每年使用一张表?MYSQL

我们每年存储大约 5 到 1000 万个事件,现在构建了一个数据集市,将运营数据分离出来。我的问题:

  1. 您是否会从给定年份移动记录的事件并将其存储在数据集市中,而不是删除“事件表”并重新开始?
  2. 为存储给定年份的事件的每一年创建一个新表,即 INSERT INTO 2011_actionrecord action= 'whathappened' 等INSERT INTO 2012_actionrecord action= 'whathappened' 等。
  3. 还是做点别的?

非常感谢

0 投票
1 回答
4381 浏览

ssis - 数据集市与多维数据集

我对仓储过程感到困惑......我正在构建数据集市,但我不太了解的部分与多维数据集有关。我已经阅读了一些关于 SSAS 的教程,但我不知道如何在其他应用程序中使用这些数据。我需要的是以下内容:

  • 包含分析所需的所有数据的仓库(数据集市)(向下钻取和汇总数据,如每日收入和年初至今收入)
  • 可以获取此数据的 .NET Web 服务,以便许多不同的应用程序可以使用它

我不明白的部分是立方体。我看到很多人使用 SSAS 来构建立方体。SSAS 中的这些立方体是什么?他们是对象吗?它们是存储数据的表吗?我的 Web 服务如何访问多维数据集的数据?

SSAS 有什么替代品吗?在数据集市中构建多维数据集并在 ETL 过程中加载它们是否可行?

0 投票
1 回答
857 浏览

relational-database - 是什么让访问 OLAP 多维数据集/数据集市和类似数据结构比访问关系数据库更快?

是什么让访问 OLAP 多维数据集/数据集市和类似数据结构比访问关系数据库更快?

编辑

将尽快提供 200 的赏金。

0 投票
1 回答
212 浏览

sql - 更好地使用数据集市 (BI) 或计划视图来捕获快速变化的属性(状态)?

目前我们依靠OLTP系统来开发报表。基本上,我们要跟踪销售活动。因此,我们需要查看“Opportunity”、“Proposal”、“Contract Sent”等销售阶段的总销售额。不用说,在 OLTP 中,每条记录都有一个变化的当前状态(销售阶段)。对于分析报告,我们需要考虑历史数据并对其执行聚合操作。

那么,哪一个最好:通过每天计划复制所有销售订单(连同它们的销售状态)的视图来捕获这一点,还是为此设计一个小型数据集市解决方案?

0 投票
0 回答
567 浏览

sql - 对多个数据库使用数据集市

我目前正在开展一个使用 ERP 数据库中的 SSIS 2008 r2 构建数据集市的项目。

这些数据集市必须在具有相同结构(相同表/字段)的每个数据库中使用。

问题是源表名会根据连接的数据库而变化。但是表结构(元数据)在这些环境之间不会改变。

例如,数据库 1项目表名是company_name1$item 数据库 2项目表名是company_name2$item

我正在寻找一种使数据集市可用于两个数据库的解决方案。

我做了一些研究;我发现我的解决方案可以像图片中解释的那样 在此处输入图像描述

正如您在图中所示,构建数据集市需要遵循以下步骤:

  • 要构建数据集市,您将提取信息并通过 ETL 处理它们以获得所需的数据集市。此过程需要应用于所有数据库

  • 此过程可以通过 erp 数据库中名为
    object 的表来完成。该表包含有关数据库
    表的所有类型的信息,但最有用的字段是表 id、表名和公司名称

在此处输入图像描述

现在,我想使用这个表 id,Name Company 来选择合适的表,而不必根据表名选择数据,但对象表和其他表之间没有链接,所以你需要创建某种代码或能够创建链接的东西。 简而言之,当我想将包用于数据库时,我插入的是公司名称,并且将运行包来填充我的数据集市。

正如一些人建议的那样,我应该使用这种类型的 sql 过程 USE YourDataBaseName;

另一个也很有趣的是,SSIS 允许在源和目标中使用变量名。我只需要提供使该值发生变化的机制。也许那是一个包含数据流或运行时参数集的 foreach 枚举器。 两个建议的解决方案都很棒,但仍然不清楚如何做到这一点,我希望现在我已经解释了我的问题,我会得到一个更具体的答案

0 投票
1 回答
145 浏览

database - 向正确的用户显示右列

如果我有三个不同职业的用户(经理、推销员、会计)

主要问题是如何在 SQL Server 中根据以下星型模式和要求向正确的人显示正确的列?

fact 和 dim 在数据集市内使用常规表。

背景资料:

  • 经理有权查看所有列 factTransaction
  • 不允许业务员查看 TaxAmount、TotalAmount 和 ProductBusinessKey。
  • 会计记录允许查看 Product Quantity、ProductPrice 和 GeographyFullname。

在 Windows 中,他们有自己的用户帐户。

图片取自地址(多事实表的数据仓库设计

在此处输入图像描述

0 投票
1 回答
993 浏览

schema - 数据仓库:动态维度的维度建模?

我们有一个名为 user_preferences 的表。它们是名称值对,每个用户都可以自定义定义任意数量的偏好。我们想要在我们的数据仓库/数据集市中提供关于这些偏好的报告,就好像它们是维度一样。例如,用户偏好可以是性别、位置等。我们希望找到男性用户在特定时间范围内执行的操作数量。

人们通常如何做到这一点?在不爆炸他们的数据集市的情况下。

0 投票
1 回答
261 浏览

sql - OLAP/Datamart 如何开始将数据从我的数据库推送到报告数据库

我在一家公司工作 我们有很多客户都托管在一个数据库和一个架构上。所有的客户都需要能够看到他们自己的数据,但目前我使用权限和视图加入来强制他们仅基于数据层次结构访问自己的数据。

这使得他们对数据库的报告查询非常详尽。

我开始听说 OLAP Cubes 和 Data-Mart 将有助于解决问题。

每个客户数据指向一个公司表

将这些数据卸载到客户可以半实时访问他们的数据同时仍然保持我的数据库服务器的工作负载的最佳方式是什么?

我用 OLAP 和 Data-Mart 搜索什么来解决这个问题?有没有人有任何指南向我展示第 1-10 步。

我正在查看此示例,但我不了解维度或度量组。 http://www.developerfusion.com/article/143031/building-your-first-data-cube/

谢谢

0 投票
1 回答
3143 浏览

loading - 我已经填充了维度 - 如何填充事实表?

我已经填充了 4 个维度表,它们是时间昏暗、站点昏暗、废弃昏暗和工作类型昏暗。

我已经在临时表中计算了最终事实表中所需的度量,但是如何将维度 ID 和度量转移到事实表中?

事实表应该以这些列结束

数据还需要按 4 维 ID 进行分组。

0 投票
0 回答
298 浏览

sql-server - 通过 SSIS 包将内存对象(数据表)插入数据库

在 Sql Server 2008 中,我需要创建一个大型数据集市。我编写了 .NET 代码 (C#) 以从代码中并行运行所有 SELECT Stored Procs,并将结果加入内存中的数据表中。

我通过 SqlBulkCopy 将数据表插入数据库,但一段时间后它变得非常慢。我使用表锁并调整了批量大小,但仍然没有性能提升。

如何通过从代码创建 SSIS 包并运行该包作为 SqlBulkCopy 的替代方案,将 Datatable 插入 Sql Server 2008 数据库?