c#-4.0 - 使用 C#.Net 处理将平面文件导入到 SQL Server 的最佳方法

Question

• 我写了一个控制台应用程序来读取平面文件列表
• 并逐行解析数据类型
• 并在各自的表中一个接一个地插入记录。

很少有平面文件包含大约63k 记录（行）。对于此类文件，我的程序大约需要 6 个小时才能完成一个包含 63k 记录的文件。

这是一个测试数据文件。在生产中，我必须处理 100 倍以上的负载。

我很担心，如果我能更好地加快速度。

任何人都可以提出处理这项工作的最佳方法吗？

工作流程如下：

1. 使用从本地机器读取平面文件File.ReadAllLines("location")
2. 解析行的每个字段后创建一个记录实体对象。
3. 将此当前行插入到实体中

将此作为控制台应用程序的目的是， 此应用程序应每周运行（计划应用程序），并且其中有条件逻辑，基于一些变量会有

• 全表替换或
• 更新现有表或
• 删除表中的记录。

Answer 1

您可以尝试使用“批量插入”操作将大量数据插入数据库。