我想知道 SSIS 如何处理大型数据集的事务。我有一个大约 150,000 行的“大型”数据集,作为从临时数据库到实时数据库的 ETL 的一部分,每一行都需要根据业务规则进行验证。
如果任何记录不符合其业务规则,则不会有任何记录出现在实时数据库中(即回滚事务)。
我的问题是 SSIS 如何处理大型事务 - 或者可以吗?如果最后一条记录不符合其业务规则,它会处理输入 149,999 条记录然后回滚整个记录吗?或者是否有更好的最佳实践来执行这种类型的大数据传输操作?
我目前的想法是在控制流级别处理序列容器中的每条记录,并在容器上启用事务设置。所有验证都将在序列容器中完成,插入也将在此容器中完成。