1

我正在将地理编码数据从 csv 文件导入我们的数据库。

我使用了以下库 A fast csv reader来读取 csv 然后使用SqlBulkCopy

这是我正在导入的数据的示例

"AB10","1BH","L",0,0,,,20
"AB10","1BR","L",39320,80570,57.14214,-2.11400,21

它适用于良好的数据，但最重要的是它会抛出异常，因为数据库设置为不接受空值。

有没有办法告诉 bulkcopy 忽略坏数据？我试图通过像这样使用库的内置属性来让 csv 阅读器忽略坏行，但它们似乎不起作用。

csv.SkipEmptyLines = true;
csv.MissingFieldAction = MissingFieldAction.ParseError;
csv.DefaultParseErrorAction = ParseErrorAction.AdvanceToNextLine;

我想另一种选择是预先解析 csv 并删除所有有问题的行。也许有一个更好的 .net csv 库？

4

3 回答 3

1

如果您可以发布您的 csv 阅读器代码，那么我们可以提供更多帮助。但是查看链接页面上的代码，您可以执行以下操作：

while (csv.ReadNextRecord())
    {
        for (int i = 0; i < fieldCount; i++)
            Console.Write(string.Format("{0} = {1};",
                          headers[i],
                          csv[i] ?? "null"));
        Console.WriteLine();
    }

看看我在哪里添加了空合并运算符？这应该改变你的输出：

"AB10","1BH","L",0,0,,,20

至

"AB10","1BH","L",0,0,null,null,20
于 2012-10-08T15:19:13.717 回答
0

为了处理空条目，我最终一次将 csv 解析为 DataTable 对象 1000 个条目，然后边走边导入它们。

于 2012-10-19T12:41:37.513 回答
0

我使用 Microsoft 文本驱动程序为项目导入 CSV 信息。它工作得很好。我定义了一个 Schema.ini 文件来指定列标题、数据类型、要扫描的行数（MaxScanRows=0，将扫描整个文件）。

我还没有尝试过，但是当您使用 Microsoft 文本驱动程序时，您会发出一个选择查询以将数据从 csv 文件中提取出来，我想知道您是否可以添加条件来过滤掉空记录。

如何从 .csv 填充 IDataReader 以与 SqlBulkCopy.WriteToServer(IDataReader) 一起使用

http://msdn.microsoft.com/en-us/library/windows/desktop/ms709353(v=vs.85).aspx

http://www.connectionstrings.com/textfile

希望这可以帮助。

于 2012-10-08T15:03:22.710 回答