json - SSIS 数据验证

Question

我有一个包含大约 125 列的 json 文件，我需要将其加载到数据库表中。我正在使用 SSIS 包，在将所有 JSON 文件内容转储到数据库转储表后，我需要验证数据并加载只有对 MASTER 表有效的数据并将其余数据发送到失败表。失败表有 250 列，每列都有 ERROR。如果第一列验证失败，我需要将错误消息写入相应的错误列并继续验证第二列...在 SSIS 中是否有一些实用程序有助于实现要求。

我尝试过使用条件拆分，但似乎不符合要求。谢谢，维杰

Answer 1

我同意 Alleman 的建议，即通过存储过程来完成这项工作。在实施方面，您可以采用多种方式。我在这里列出一种方式

在数据库中，您可以创建大约 10 个存储过程，如下所示

• dbo.usp_ValidateData_Columns1_To_Columns25
• dbo.usp_ValidateData_Columns26_To_Columns50
• ……
• ……
• dbo.usp_ValidateData_Columns226_To_Columns250

在每个过程中，您都可以跨列批量验证数据。如果验证失败，您可以插入相应的错误列。

完成此操作后，您可以将上述所有过程作为 SSIS 包的一部分并行调用。

发布您将需要一个 DFT，以挑选所有适合转移到 MASTER 的记录。

基本上，您正在模块化整个设置。