2

我在 SSIS 中使用 OLE DB 源从 SQL Server 2012 数据库中提取数据行：

SELECT item_prod.wo_id, item_prod.oper_id, item_prod.reas_cd, item_prod.lot_no, item_prod.item_id, item_prod.user_id, item_prod.seq_no, item_prod.spare1, item_prod.shift_id, item_prod.ent_id, item_prod.good_prod, item_cons.lot_no as raw_lot_no, item_cons.item_id as rm_item_id, item_cons.qty_cons
FROM item_prod
LEFT OUTER JOIN item_cons on item_cons.wo_id=item_prod.wo_id AND item_cons.oper_id=item_prod.oper_id AND item_cons.seq_no=item_prod.seq_no AND item_prod.lot_no=item_cons.fg_lot_no

这很好用，目前每分钟可以提取大约 100 万行。由于在不使用缓存时性能更好，因此使用左外连接而不是查找，并且两个表可能包含超过 4000 万行。

我们需要查询仅拉取上一次运行中未拉取的行。最后一次运行的 row_id 存储在一个变量中，并放在上述查询的末尾：

WHERE item_prod.row_id > ?

在第一次运行时，参数将为 -1（解析所有内容）。通过添加 where 子句（每 5-10 分钟 100 万行），性能会下降 5-10 倍。是什么导致了如此显着的性能下降，有没有办法对其进行优化？

4

1 回答 1

3

事实证明，SSIS 在执行带参数的查询时会创建一个存储过程。这是通过查看 SQL Server Profiler 中的执行发现的。

结果，性能受到了影响，我认为这与参数嗅探有关。

我将源更改为使用 aSQL Query from Variable并使用表达式构建我的查询，这修复了性能。

编辑：以下是使用where参数执行问题代码时在 SQL Server Profiler 中看到的命令：

exec [sys].sp_describe_undeclared_parameters N'SELECT item_prod.wo_id, item_prod.oper_id, item_prod.reas_cd, item_prod.lot_no, item_prod.item_id, item_prod.user_id, item_prod.seq_no, item_prod.spare1, item_prod.shift_id, item_prod.ent_id, item_prod.good_prod, item_cons.lot_no as raw_lot_no, item_cons.item_id as rm_item_id, item_cons.qty_cons
FROM item_prod
LEFT OUTER JOIN item_cons on item_cons.wo_id=item_prod.wo_id AND item_cons.oper_id=item_prod.oper_id AND item_cons.seq_no=item_prod.seq_no AND item_prod.lot_no=item_cons.fg_lot_no
WHERE item_prod.row_id > @P1'

declare @p1 int
set @p1=1
exec sp_prepare @p1 output,N'@P1 int',N'SELECT item_prod.wo_id, item_prod.oper_id, item_prod.reas_cd, item_prod.lot_no, item_prod.item_id, item_prod.user_id, item_prod.seq_no, item_prod.spare1, item_prod.shift_id, item_prod.ent_id, item_prod.good_prod, item_cons.lot_no as raw_lot_no, item_cons.item_id as rm_item_id, item_cons.qty_cons
FROM item_prod
LEFT OUTER JOIN item_cons on item_cons.wo_id=item_prod.wo_id AND item_cons.oper_id=item_prod.oper_id AND item_cons.seq_no=item_prod.seq_no AND item_prod.lot_no=item_cons.fg_lot_no
WHERE item_prod.row_id > @P1',1
select @p1

exec [sys].sp_describe_first_result_set N'SELECT item_prod.wo_id, item_prod.oper_id, item_prod.reas_cd, item_prod.lot_no, item_prod.item_id, item_prod.user_id, item_prod.seq_no, item_prod.spare1, item_prod.shift_id, item_prod.ent_id, item_prod.good_prod, item_cons.lot_no as raw_lot_no, item_cons.item_id as rm_item_id, item_cons.qty_cons
FROM item_prod
LEFT OUTER JOIN item_cons on item_cons.wo_id=item_prod.wo_id AND item_cons.oper_id=item_prod.oper_id AND item_cons.seq_no=item_prod.seq_no AND item_prod.lot_no=item_cons.fg_lot_no
WHERE item_prod.row_id > @P1',N'@P1 int',1

由于我不完全确定上面生成的代码是做什么的，因此我可能遗漏了其他相关命令。最初，我假设 SSIS 变量将被插入到查询中，但 @P1 参数的引入让我转而研究存储过程的含义。

于 2013-08-08T14:05:43.087 回答