DBA(只有 2 年的 google 培训经验)创建了一个海量数据管理表(108 列并且还在增长),其中包含系统中任何数据流的所有必要属性。好吧,将此表简称为 BFT。
在这些列中:
10 个用于元数据引用。
15 个用于数据源和时间跟踪
1 个用于文本数据的新/当前列
实例 10 个用于多值数值更新的新/当前/增量/比率/范围列实例:总计 50 列。
多值数值更新通常只需要 2-5 个更新组。
15K-1500K 记录的批次被加载到 BFT 中,并由存储的过程进行处理,并使用逻辑来验证这些记录,将它们洗牌到大约 30 个其他表中的永久存储中。
在大多数记录加载中,50-70 列在整个过程中都是空的。
我不是数据库专家,但是这个模型和过程似乎有点味道,但我不知道为什么要说原因,也不想抱怨而无法提供替代方案。
鉴于对数据处理模型的这种非常小的洞察力,是否有人有想法或建议?是否可以信任数据库(SQL Server)以有效地处理具有大部分空列的记录,或者以这种方式进行处理浪费了大量的周期/内存等。