问题标签 [dataflowtask]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1081 浏览

sql - 如何将表变量数据传递到ssis中的数据流中

我在执行sql任务中写了这样的代码

这看起来不错,但我无法将此结果带到 SSIS 中用于填充到表中的数据流任务中。

我不喜欢在主数据库上创建临时表或仅为此任务创建新数据库的想法。

任何帮助深表感谢。

谢谢

请参阅此链接以进行先前的讨论

0 投票
0 回答
994 浏览

sql-server - SSIS:违反主键

我正在为另一个用户解决以下错误。另一个用户有一个非常简单的 SSIS 包。他的包裹包含一个来源和一个目的地。

Source 是一个不同的数据库。假设 A 和 destination 是一个不同的数据库。让我们说B

用户想要将数据从表 SrcDBTabA 复制到 DstDBTabB

在他的 SSIS 中,他使用数据流任务。数据流任务的隔离级别设置为 Serializable 并支持 TransactionOption。

OLE DB Source 的数据流任务,他使用 SQL Query 从 SrcDBTabA 获取数据。他的查询是

从 SrcDBTabA 中选择 SourceID、SourceName、SourceLastName,其中 STATUS=1

然后在 OLE DB Destination 中,他将源输入列映射到他的表,并选中 Table Lock 和 Check Contraints 选项。他的 FastLoadKeepIndentity 是 False FastLoadKeepNulls 是 False FastLoadOptions 是 TabLock,Check_Constraints

该程序包大部分时间运行良好,但有时会因错误违反主键而失败。“无法在具有唯一索引的对象中插入重复的键行”

现在这是源数据库表 SrcDBTabA 中发生的有趣的事情。

该表每 15 分钟从另一个数据库获取数据,并且数据连续写入 Source 数据库。我们在这个数据库中使用了很多 NOLOCKS 查询,并且在从另一个数据库写入源数据库表 SrcDBTabA 时,我们确实使用了 NOLOCKS。

Source Database 表 SrcDBTabA 从来没有重复的 Keys,ID 列设置为 primary 并且是 clustered。

IS Read Committed SnapShot ON 的 Source DB 属性设置为 FALSE。

我们认为可能发生此错误的一件事是由于脏页

我确实在网上阅读了以下原因。该链接是相同的数据读取两次

但是我无法理解当我们在 Select 查询中没有使用 NO Lock 并且其隔离级别设置为 Serialized 时,我们如何在 SSIS 中读取重复的主键值

我无法对此给出答案,也无法在 QA 中重现此问题。

任何想法或推理

0 投票
3 回答
1774 浏览

ssis - 如何为 SSIS 脚本组件传递多个输入

我有一个自定义源数据流组件,其 O/P 每次都会不同,我需要将这些记录插入到目标表中。

问题:- 无法在设计时为目标组件指定输入列。就像每次调用 DataFlow 任务时一样,源组件将根据表模式返回不同的 O/P 列。

所需的解决方案:- 如何在目标数据流组件(通过任何现有组件或自定义组件)中没有任何映射的情况下接受任何可用的输入?

0 投票
2 回答
4345 浏览

sql-server - SSIS:如何将变量参数添加到查找转换编辑器?

我正在修改一个 SSIS 包,其中一些数据流任务具有查找转换编辑器。我所做的修改授权将一个附加参数传递给一些存储过程,这个参数来自包中的一个变量。

我已将缓存模式设置为部分缓存或无缓存,以便我可以在高级页面上添加参数,并使用派生列转换编辑器使用变量的表达式添加派生列,以便与其他列一起列出查找转换编辑器中的可用输入列,但是当我向我的 SQL 语句添加参数时,唯一可用的选项是链接到可用查找列中相应列的可用输入列。

但是,可用查找列中没有任何对应的列可以附加到我需要使用的变量。如何将此参数添加到我的 SQL 语句中?


有关该问题的更多信息,正在修改存储过程以处理最近通过密码通过对称密钥进行列加密的表,并且计划通过参数传递密码。为了减少重复性和出于安全考虑,我们试图尽可能地隔离密码,并且只能从特定位置访问它。

至于查找,此任务处理合并来自暂存数据库的数据。它使用查找来查找要在主数据库中更新的匹配记录。

谢谢你的帮助。

0 投票
0 回答
1522 浏览

performance - 如何增加数据流任务以处理 SSIS 中超过 5000 万条记录

当我尝试加载超过 600 万条记录时,我面临着挑战。在 300 万条记录后,我得到了以下异常。

尝试向数据流任务缓冲区添加行失败,错误代码为 0xC0047020。

输入源是文本文件,目标表是 oracle。我是否必须进行任何配置。在此处输入图像描述在此处输入图像描述

0 投票
0 回答
155 浏览

.net - SSIS 中的并行数据流任务

我面临一个问题,用于并行执行的数据流任务将行插入到单个表中,例如来自源表(例如 TABLE_SOURCE)的 TABLE_DESTINATION。我不直接将行插入到表“TABLE_DESTINATION”中。我使用存储过程来插入行,因为插入之前有一些逻辑。

我的源表中有近 100 万条记录。我需要将它们插入到目标表中。

我做了什么?我创建了 4 个数据流任务(DFT)。在每个 DFT 中,我将每个表映射到存储过程。创建每个 OLEDB 连接并将 RetainConnection 保持为 True

问题出在哪里?当我开始执行它们时,它进入死锁状态。DFT 不做任何事情。它保持黄色。

0 投票
0 回答
60 浏览

sql-server - 在执行 Sql 任务中选择查询失败,但在 DFT 中没有

我在 Execute SQL TASK(EST) 中有一个选择查询,例如

结果集是“完整结果”并分配给对象变量。当我执行任务时,它失败并抛出错误说

如果我在数据流任务(DFT)中运行相同的查询,查询会成功运行,并且我能够将数据转储到另一个表中。

它们在 EST 和 DFT 中的执行有什么区别吗?如果是,是否有任何解决方法可以使该查询在 EST 中运行。

在此先感谢您的帮助。

0 投票
0 回答
93 浏览

sql-server - SSIS + ADO.NET + oracle 源 + sql server 目标 + 间歇性丢失数据

我一直在使用数据流任务从 oracle 读取数据到 sql server,它一直在工作,但有时不会返回任何数据。但是,当我在 oracle plsql developer 中运行查询时,我可以查看数据或预览源组件数据中将显示的结果。

当我传递参数时,查询是表达式的形式。

还有什么我可以检查的吗?

谢谢

0 投票
1 回答
1296 浏览

sql-server-2008 - 基于 If else 条件在 SSIS 中选择性地执行数据流任务

我想创建一个具有两个数据流任务的 SSIS 包。如果今天的日期是本月的开始日期,它应该执行一个数据流任务(实际上有一个月末报告),否则它应该执行另一个数据流任务(这是一个周报告)。谁能告诉我如何获得这个。

谢谢,

0 投票
2 回答
2093 浏览

sql-server - 使用 SSIS DatFlowTask 将数据从 SQL Server 导出到 Excel 时如何避免“数字存储为文本”错误

我正在使用 SSIS 数据流任务将数据从 SQL Server 导出到 Excel 目标,但是在导出时会将int值转换为“数字存储为文本”Excel 单元格,并且每个单元格都会收到此错误“数字存储为文本”并带有绿色标记.

你能指导我如何将我的int值从 SQL Server 导出到 Excel 中的数字吗?

谢谢