16

SSIS 在处理平面文件方面做了两件事，这特别令人沮丧，似乎应该有办法解决它们，但我想不通。如果您定义一个包含 10 列的平面文件，使用 CRLF 作为行尾标记分隔制表符，这对于每行正好有 10 列的文件非常适用。两种痛苦的情况是：

  1. 如果有人在任何地方提供了第 11 列的文件，那么如果 SSIS 简单地忽略它会很好，因为您还没有定义它。它应该只读取您定义的 10 列然后跳到行标记的末尾，但它所做的是将任何其他数据与第 10 列中的数据连接起来，并将所有这些数据放入第 10 列。真的有点没用。我意识到发生这种情况是因为第 10 列的分隔符不是像所有其他列一样的制表符，而是 CRLF，因此它只会抓取 CRLF 之前的所有内容，并用任何内容替换多余的制表符。在我看来，这并不聪明。

  2. 如果有人提供一个只有 9 列的文件，情况会更糟。它将暂时忽略它意外发现的 CRLF，并用下一行开头的列填充任何缺失的列！不聪明在这里是轻描淡写的。谁会希望这种情况发生？文件的其余部分在这一点上是垃圾。

无论出于何种原因，文件宽度的变化似乎都不是不合理的（当然，只有行尾的变化可以被合理地处理（x 更少或额外的列）但看起来这根本没有处理好，除非我我错过了一些东西。

到目前为止，我们对此的唯一解决方案是将一行加载为一个巨大的列（column0），然后使用脚本任务使用它找到的许多分隔符来动态拆分它。这很好用，除了它将行宽限制为 4000 个字符（一个 unicode 列的最大宽度）。如果您需要导入更宽的行（例如用于文本导入的多个 4000 宽列），那么您需要如上所述定义多个列，但是您会遇到每行要求严格的列数。

有没有办法绕过这些限制？

4

1 回答 1

12

格伦，我感到你的痛苦 :) SSIS 不能使列动态化，因为它需要存储每列的元数据，因为我们正在处理可以包含任何类型数据的平面文件，它不能假设“列不是最后一列”中的 CRLF 确实是它应该读取的数据行的末尾。

与 SQL2000 中的 DTS 不同，您不能在运行时更改 SSIS 包的属性。

您可以做的是创建一个父包，它读取平面文件（脚本任务），并且只读取平面文件的第一行以获取列数和列名。此信息可以存储在变量中。

然后，父包以编程方式加载子包（再次脚本任务），并更新子包的Source Connection的元数据。您可以在此处 1. 添加/删除列以匹配平面文件。2. 为列设置列分隔符，最后一列必须是 CRLF - 匹配 ROW 分隔符 3. 在 Dataflow 任务中重新初始化源组件的元数据 (ComponentMetadata.ReinitializeMetadata())（以识别最近的更改源连接）。4. 保存子 ssis 包。

只有现成的有关以编程方式修改包的详细信息。

然后，您的父包只执行子包（执行包任务），它将使用您的新映射执行。

于 2010-11-29T02:05:35.847 回答