问题标签 [ssis]

我即将开始编写一个 Windows 窗体应用程序的旅程，该应用程序将打开一个 txt 文件，该文件以管道分隔，大小约为 230 mb。然后，此应用程序会将这些数据插入到 sql server 2005 数据库中（显然这需要迅速发生）。我在这个项目中使用 c# 3.0 和 .net 3.5。

我不是在要求该应用程序，只是在这里提供一些公共建议和潜在的陷阱建议。从我收集到的网站上，SQL 批量复制是先决条件，有什么我应该考虑的（我认为仅使用表单应用程序打开 txt 文件将是一项巨大的努力；也许将其分解为 blob 数据？）。

谢谢，如果有人需要，我会编辑问题以使其清晰。

好的，您不需要成为专家，但如果您碰巧对 SSIS 有很好的工作知识，并且您使用了一些网络上的教程来帮助您到达那里，那么请分享它们。我一直在努力寻找一些可靠的东西（也许是截屏视频），但我很难过。

任何可靠的链接将不胜感激，我将在最后以汇总格式将它们添加到此问题中。谢谢你。

到目前为止，我们有：

http://blogs.conchango.com/jamiethomson

http://sqlis.com

在 SQL Server Integration Services (SSIS) 中，可以设置与可容纳数百万条记录的平面文件的连接，并将该数据推送到 SQL DB。此外，可以通过引用和使用 Microsoft.SqlServer.Dts.Runtime 命名空间从 C# 应用程序调用此过程。

最好使用 SSIS 运行具有数百万条记录的平面文件，还是集体“你”更喜欢具有多个工作线程的 ac# 应用程序（一个用于读取行并将行添加到变量，一个用于从该变量写入数据库） ，以及管理这些线程的“母亲”类？（开发盒有两个cpu）

我看过这个数据（sql team blog），说明对于一个有一百万行的平面文件，SSIS 是最快的：

你怎么认为？

首先让我说，能够从一个平面文件中获取 1700 万条记录，然后将其推送到远程机器上的数据库并花费 7 分钟，这真是太棒了。SSIS 真的很棒。但是现在我已经有了这些数据，我该如何删除重复项？

更好的是，我想获取平面文件，从平面文件中删除重复项并将它们放回另一个平面文件中。

我正在考虑一个：

Data Flow Task

• 文件源（带有关联的文件连接）
• 一个 for 循环容器
• 一个脚本容器，包含一些逻辑来判断另一行是否存在

谢谢你，这个网站上的每个人都知识渊博。

Update: 我找到了这个链接，可能有助于回答这个问题

有时普通的 FTP 并不能完全解决它......当您需要通过 SSIS 包进行安全 FTP 时，您会推荐哪种产品？

在回答之前，请查看是否有人已经提出了相同的建议，如果是，请投票。

NOTE:理想情况下，它需要同时处理 SSH 和 SSL FTP 连接，但如果最有意义的话，我会考虑两个单独的组件......

我购买的帮助我理解 SSIS 的书似乎掩盖了这一点，我想知道在 SSIS 中打开 FastParse 的确切方法是什么？

我创建了一个 SSIS 包，它在我的开发机器上运行良好。但是，当我尝试在生产服务器上运行它时，它会出错。

这是错误：

我已经找出原因，但不知道如何解决它。密码不在连接字符串中。但是我已经在 SSIS 项目中设置了密码。但是由于某种原因，当我在生产服务器上部署和运行它时，它不会运行，因为密码不是连接字符串的一部分。

我需要更改 SSIS 项目中的某些设置以使其正常工作吗？

谢谢。

我对 Sybase 设置知之甚少（可以说一无所知），但我知道 SSIS 在将 Sybase 纳入分布式事务时遇到了麻烦。有没有人能够完成这项工作？

当我将包的 TransactionOption 更改为必需时，就会发生这种情况。当我恢复到默认的“支持”时，包运行没有错误（尽管不是线程安全的）。

我正在尝试使用以下命令从 bat 文件远程运行 DTSX 包：

这在本地工作正常，但远程失败（我在我指向的机器上拥有管理员权限，并且我也有 SQL 权限）我收到超时错误（登录超时已过期）。

我有一个应用程序，每当文件上传到目录时，我都必须调用 SSIS 来解析 XML 文件。

我可以直接从 .NET Windows 服务调用 SSIS 吗？