ssis - SSIS BCP & Flat File - Is there a limit to how many records can be in the file?

Question

The file I am working with has about 207 million rows. In SSIS it keeps failing.

The column is too long in the data file for row 1, column 2. Verify that the field terminator and row terminator are specified correctly.

Now when I copy a chunk of rows and place into another txt and import I don't get the error.

I can get the rows into sql if I don't use Bulk Insert and use a regular data flow task.

Answer 1

您可以做的另一件事是确保在 oledb 目标上关闭批量插入。在极少数情况下，我会得到打开时不插入的记录。

事实上，如果有人知道为什么会这样，我很想知道。

Answer 2

您应该检查两件事：

1. 列的列长度定义2。它可能设置为类似的东西，100并且您尝试导入具有比该长度更高的列的行。

2. 检查是否有可能出现在数据内部的列分隔符。想象你得到一个带有;分隔符的文件，当你得到一个包含分号的值时，平面文件会遇到问题。

该文件很长，但我认为它与它无关，因为错误会是别的东西。