0

我正在测试数据仓库的空间。在我新创建的范围内，应该验证的维度和事实。根据我通过浏览获得的知识和信息，我决定涵盖以下内容

  • 根据规范对 Facts 和 Dimension 表进行模式验证
  • Facts 和 Dimension 表的数据重复检查
  • 维度表的查找验证

还有什么我可以在这里验证的吗？

另外只是好奇如何检查数据是否正确填充到事实表和行数、正确的代理键等。在开发人员的角度来看，他们是否使用 DML 脚本来加载数据？

4

2 回答 2

1

测试数据库

数据库通过以下三种方式进行测试：

  1. 测试数据库管理器和监控工具——为了测试数据库管理器和监控工具，它们应该用于测试数据库的创建、运行和管理。

  2. 测试数据库功能 - 以下是我们必须测试的功能列表：

    - 并行查询

    - 并行创建索引

    - 并行数据加载

3.测试数据库性能——查询执行在数据仓库性能测量中起着非常重要的作用。有一些固定查询需要定期运行，并且应该进行测试。要测试即席查询，应该仔细阅读用户需求文档并完全了解业务。花时间测试企业可能针对不同的索引和聚合策略提出的最尴尬的查询。 http://www.tutorialspoint.com/dwh/dwh_testing.htm

您还可以使用ETL 测试（提取、转换和加载）。ETL 测试技术： 1) 验证数据是否根据各种业务需求和规则正确转换。2) 确保所有投影数据都加载到数据仓库中，没有任何数据丢失和截断。3) 确保 ETL 应用程序适当地拒绝、替换为默认值并报告无效数据。4) 确保在规定和预期的时间范围内将数据加载到数据仓库中，以确认改进的性能和可扩展性。

除了这 4 种主要的 ETL 测试方法外，还进行了集成测试和用户验收测试等其他测试方法，以确保一切顺利可靠。

您还可以测试计划、备份恢复、操作环境、测试的应用和逻辑有关 ETL 测试/数据仓库测试的更多信息，请访问http://www.softwaretestinghelp.com/etl-testing-data-warehouse-testing /

升级版：

并行创建索引

事实表上的索引可以是分区的或非分区的。本地分区索引提供最简单的管理。唯一的缺点是搜索本地无前缀索引需要搜索所有索引分区。

创建索引表空间的注意事项与创建其他表空间的注意事项类似。具有小条带宽度的操作系统条带化通常是一个不错的选择，但为了简化管理，最好为每个索引使用单独的表空间。如果它是本地索引，您可能希望将其放入与其对应的分区相同的表空间中。如果每个分区在多个磁盘上进行条带化，则可以并行重建各个索引分区以进行恢复。或者，可以使用操作系统镜像。由于这些原因，索引创建语句的 NOLOGGING 选项可能对数据仓库很有吸引力。

分区索引的表空间应该以与分区表的表空间相同的方式并行创建。

分区索引是使用分区粒度并行创建的，因此可能的最大 DOP 是粒度的数量。本地索引创建的内在并行性低于全局索引创建，因此如果使用更高的 DOP，则可能运行得更快。以下语句可用于在事实表上创建本地索引：

CREATE INDEX I on fact(dim_1,dim_2,dim_3) LOCAL 
PARTITION jan95 TABLESPACE Tsidx1, 
PARTITION feb95 TABLESPACE Tsidx2, 
... 
PARALLEL(DEGREE 12) NOLOGGING;

要备份或恢复一月份的数据，您只需要管理表空间 Tsidx1。

Parallel Query Tuning

并行查询功能对于通过大型表扫描、大型连接、创建大型索引、批量加载、聚合或复制来访问大量数据的查询非常有用。它使具有以下所有特征的系统受益：

  • 对称多处理器 (SMP)、集群或大规模并行系统
  • 高 I/O 带宽（即，许多不同磁盘驱动器上的许多数据文件）
  • 未充分利用或间歇使用的 CPU（例如，CPU 使用率通常低于 30% 的系统）
  • 足够的内存来支持额外的内存密集型进程，例如排序、散列和 I/O 缓冲区

如果这些条件中的任何一个不适合您的系统，则并行查询功能可能不会显着提高性能。事实上，在过度使用的系统或具有小 I/O 带宽的系统上，并行查询功能会阻碍系统性能。

在这里您可以更详细地阅读：http: //docs.oracle.com/cd/A57673_01/DOC/server/doc/A48506/pqo.htm#1559

我希望这些资源对您有所帮助： https ://wiki.postgresql.org/wiki/Parallel_Query_Execution

https://technet.microsoft.com/en-us/library/ms178065%28v=sql.105%29.aspx

http://www.csee.umbc.edu/portal/help/oracle8/server.815/a67775/ch24_pex.htm#1978

于 2015-03-03T11:15:20.567 回答
1

我是一名 ETL 测试员。对于数据仓库中的数据验证和数据质量测试，请遵循以下检查

1) 元数据测试——测试底层表的结构及其结构（根据设计文档）。2) 数据验证 - 在数据验证中，您使用 SQL 和 PL/SQL 测试映射转换。我们一般使用 Source 和 target 表计数，Source 减去 Target，Source Intersect Target 和 Target 减去 Source 来测试它。

3）重复检查：确保数据仓库中没有冗余。4）加载策略检查：检查您的目标表是SCD还是重新加载时删除（取决于要求。）

于 2015-04-14T09:03:29.830 回答