4

我即将开始编写一个 Windows 窗体应用程序的旅程,该应用程序将打开一个 txt 文件,该文件以管道分隔,大小约为 230 mb。然后,此应用程序会将这些数据插入到 sql server 2005 数据库中(显然这需要迅速发生)。我在这个项目中使用 c# 3.0 和 .net 3.5。

我不是在要求该应用程序,只是在这里提供一些公共建议和潜在的陷阱建议。从我收集到的网站上,SQL 批量复制是先决条件,有什么我应该考虑的(我认为仅使用表单应用程序打开 txt 文件将是一项巨大的努力;也许将其分解为 blob 数据?)。

谢谢,如果有人需要,我会编辑问题以使其清晰。

4

9 回答 9

16

你必须写一个winforms应用程序吗?使用 SSIS 可能更容易和更快。有一些内置任务可用,尤其是Bulk Insert task

此外,值得检查SQL Server 2005 中的平面文件批量导入方法速度比较。

更新:如果您是 SSIS 新手,请查看其中一些网站,让您快速上手。1) SSIS 控制流基础2) SQL Server 集成服务入门

这是另一个 How to: on Importing Excel file into SQL 2005

于 2008-09-26T19:56:14.940 回答
1

这将是一项流媒体工作。

如果可以,请不要在此处使用事务。交易成本太高了。

因此,您要做的是一次读取文件一行,然后一次将其插入一行。您应该将失败的插入转储到另一个文件中,以便稍后诊断并查看它们失败的位置。

起初,我会继续尝试批量插入几百行,以查看流是否正常工作,然后您可以打开所有您想要的内容。

于 2008-09-26T19:54:43.867 回答
1

您可以尝试使用SqlBulkCopy。它使您可以从“任何数据源”中提取数据。

于 2008-09-26T20:00:01.373 回答
1

顺便说一句,有时删除表的索引并在批量插入操作后重新创建它们会更快。

于 2008-09-26T20:03:26.250 回答
1

您可能会考虑从完全恢复切换到批量记录。这将有助于使您的备份保持合理的大小。

于 2008-09-26T20:20:26.177 回答
1

我完全推荐 SSIS,您可以在相对较短的时间内读取数百万条记录并一路清理它们。

您将需要留出一些时间来掌握 SSIS,但它应该得到回报。SO上还有一些其他线程可能有用:

在 SQL Server(C# 客户端)中批量插入大量数据的最快方法是什么

SSIS推荐的学习材料是什么?

您还可以从 C# 创建包。我有一个 C# 程序,它从遗留系统读取 3GL“主文件”(使用我为相关项目提供的 API 解析为对象模型),获取包模板并对其进行修改以生成用于 ETL 的包。

于 2008-09-26T22:14:12.910 回答
0

如果文件的列格式与数据需要结束的目标表匹配,我更喜欢使用命令行实用程序bcp来加载数据文件。它速度极快,您可以为任何无法插入的“奇数”记录指定错误文件。

如果您需要为其存储命令行参数(服务器、数据库、用户名/密码或受信任的连接、表、错误文件等),您的应用程序可以启动该命令。

与运行 BULK INSERT SQL 命令相比,我更喜欢这种方法,因为数据文件不需要位于数据库服务器可访问的系统上。要使用批量插入,您必须指定要加载的数据文件的路径,因此它必须是运行加载的数据库服务器上的系统用户可见和可读的路径。通常对我来说太麻烦了。:-)

于 2008-09-26T20:01:06.550 回答
0

您所说的数据量实际上并没有那么大。我不知道你的效率问题是什么,但如果你可以等待几个小时让它插入,你可能会惊讶于用一种非常幼稚的技术来完成这将是多么容易,一次只插入每一行. 一次批处理大约一千行并将它们提交到 SQL Server 可能也会使其更快一些。

如果您不需要尽可能快的速度,这只是一个可以为您节省大量编程时间的建议。根据此导入必须运行的频率,节省几天的编程时间可能很值得,以换取在运行时等待几个小时。

于 2008-09-26T20:05:12.783 回答
0

您可以使用 SSIS 进行读取和插入,但将其作为 WinForms 应用程序中的包调用。然后,您可以将源、目标、连接字符串等内容作为参数/配置传递。

方法:http : //msdn.microsoft.com/en-us/library/aa337077.aspx

您可以在 SSIS 中设置转换和错误处理,甚至可以根据输入参数创建逻辑分支。

于 2008-09-26T20:12:48.333 回答