sql-server - 更新/删除查询的性能

Question

我想用同一张表生成的值更新我的表。

我的目标是使用 proftxt 搜索所有行，如 _NS 和 _WP 并使用相同的 ao，将它们相加，
将值除以该 ao 的 _H、_G、_L 元素的数量，然后将此值添加到 _H、_G 和_L对象的那个ao。

ao 可能只有 _NS 和 _WP 行。比例程要跳过这个ao。

例子：

我的数据看起来像：

an, ao, proftxt, value, year  
101 , 1, 'e_NSe', 5, 2006  
102 , 1, 'e_Ha', 1, 2006  
103 , 1, 'w_NSr', 4, 2006  

104 , 2, 'w_NSr', 2, 2006  
105 , 2, 'x_H05r', 4, 2006   
106 , 2, 'w_Gr', 2, 2006   
107 , 2, 'a_WPr', 4, 2006 

108 , 3, 'a_WPr', 4, 2006

我的数据应该是这样的：

an, ao, proftxt, value, year  
102 , 1, 'e_Ha', 10 2006  

103 , 2, 'x_H05r', 7, 2006  
103 , 2, 'w_Gr', 5, 2006  

108 , 3, 'a_WPr', 4, 2006

我的例程适用于少量测试数据。

更新功能结束，同时在真实数据库上工作，成功 13 小时后。
但它只编辑了 210000 行中的 5000 行。

DECLARE @ENDYEAR INT
DECLARE @AO BIGINT
DECLARE @YEAR INT
DECLARE @ELEMENTS INT

--Parameter festlegen
SET @YEAR = 2006
SET @ENDYEAR = 2013 --Endyear+1  
SET @AO = 2  

WHILE(@YEAR<@ENDYEAR)
BEGIN     
WHILE (@AO >1)  --Do as long as Cursor is inside table
BEGIN  
    SET @AO = (SELECT TOP 1 ao FROM tbl_slp -- Search ao with _WP _NS
                 WHERE (proftxt LIKE '%[_]WP%' 
                         OR proftxt LIKE '%[_]NS%') 
                         AND year = @YEAR 
                         AND ao > @AO );

    SET @ELEMENTS = (SELECT COUNT(proftxt) --Count Number of _H, _G, _L elements
                            FROM tbl_SLP  
                            WHERE ao = @AO AND year = @YEAR AND  
                                (proftxt LIKE '%[_]H%' OR proftxt = NULL
                                  OR proftxt LIKE '%[_]G%'
                                  OR proftxt LIKE '%[_]L%'))

    IF (@ELEMENTS != 0)
    BEGIN
        UPDATE tbl_SLP --Update _H, _G, _L rows
        SET value = value + (SELECT SUM(CONVERT(float, value)) 
                            FROM tbl_SLP
                            WHERE (proftxt LIKE '%[_]WP%'
                                                            OR proftxt LIKE '%[_]NS%')
                                                            AND year = @YEAR 
                                                            AND ao = @AO)
                            /@ELEMENTS
        WHERE ao = @AO AND year = @YEAR 


        DELETE FROM tbl_SLP --delete_WP _NS rows
            WHERE ao= @AO 
                  AND year = @YEAR 
                  AND (proftxt LIKE '%[_]WP%' OR proftxt LIKE '%[_]NS%')

    END

    SET @AO = @AO +1
    END
    SET @YEAR = @YEAR +1
END

我知道例行程序超级慢，但我该怎么办？

score 5 · Accepted Answer

SQL 是为基于集合的操作而设计的，而不是像您的例程那样的过程控制流式逻辑。这是一种基于集合的方式，我猜它会比程序方式快得多：

SET XACT_ABORT ON
SET NOCOUNT ON

BEGIN TRANSACTION

-- Create a temp table with each ao-year's sums and counts (sums of _NS and _WP record values and counts of _H, _G, and _L records)
SELECT T.ao, T.year, SUM(T.value) AS SumVals, (SELECT COUNT(*) FROM tbl_slp A WHERE A.ao = T.ao AND A.year = T.year AND (A.proftxt = NULL OR A.proftxt LIKE '%[_]H%' OR A.proftxt LIKE '%[_]G%' OR A.proftxt LIKE '%[_]L%')) AS CountOther
INTO #temp1 
FROM tbl_slp T
WHERE (T.proftxt LIKE '%[_]WP%' OR T.proftxt LIKE '%[_]NS%')
GROUP BY T.ao, T.year

-- Add "sum/count" for each ao-year to the _H, _G, and _L records for that year
UPDATE A
SET value = value + CONVERT(FLOAT, T.SumVals) / T.CountOther
FROM tbl_slp A 
INNER JOIN #temp1 T ON A.ao = T.ao AND A.year = T.year
WHERE (A.proftxt = NULL OR A.proftxt LIKE '%[_]H%' OR A.proftxt LIKE '%[_]G%' OR A.proftxt LIKE '%[_]L%')

-- Now that we've distributed the _WP and _NS values, delete those records
DELETE A
FROM tbl_slp A
INNER JOIN #temp1 T ON A.ao = T.ao AND A.year = T.year
WHERE (A.proftxt LIKE '%[_]WP%' OR A.proftxt LIKE '%[_]NS%')
 AND T.CountOther > 0

COMMIT TRANSACTION

对于您提供的样本集，这会产生完全相同的结果（除了an我认为是错字的列）。

完全公开，这在样本集上比您的例程花费的时间更长（17 ms 与您的 3 ms 相比），但它应该更好地扩展到大数据。为了正确起见，我将其放入事务中，但我不确定您的确切用例是什么，所以这可能是我的方式的一个缺点，因为它会一直锁定页面（并可能升级到整个表）。但是，您的例程没有任何事务，这可能会导致错误数据，因此如果您按自己的方式进行操作，请确保将每个更新-删除对放在自己的事务中。

另外，如果您在上没有索引proftxt，请添加一个！这将对两种解决方案产生巨大的影响。

祝你好运。这是我使用的 SQL Fiddle。

score 1 · Accepted Answer

首先，我看到了几个与 NULL 相关的问题。例如，您的内部循环显然正在等待 @AO 在完成之前变为 NULL：

WHILE (@AO >1)

当您将 @AO 设置为不存在但难以阅读的内容时，这将起作用，并且您可能想要编写更明确的逻辑。

接下来，此条件将始终为假：

OR proftxt = NULL

NULL 值不等于自身。要测试这种情况，您必须编写：

OR proftxt IS NULL

此外，您的 COUNT(proftxt) 中将省略任何 NULL 值。尝试运行以下示例查询。它返回 1 以及消息“警告：空值被聚合或其他 SET 操作消除”。

SELECT COUNT(fieldname) FROM (SELECT 1 AS fieldname UNION SELECT NULL AS fieldname) AS tablename

最后，索引 proftxt 列不会解决您的性能问题，因为带有前导通配符的 LIKE 条件不能使用索引。您可以将索引想象成按姓氏字母顺序排列的电话簿。如果您正在寻找 LastName LIKE '%mann'，那么索引不会帮助您。您仍然需要通读电话簿中的每个条目，才能找到所有以“mann”结尾的姓氏。在数据库术语中，这称为“表扫描”，并且速度很慢。

我将添加一个新列，您可以将其称为 proftxttype。

UPDATE tbl_SLP
SET proftxttype = 1
WHERE proftxt LIKE '%[_]WP%' 
OR proftxt LIKE '%[_]NS%'

UPDATE tbl_SLP
SET proftxttype = 2
WHERE proftxt LIKE '%[_]H%'
OR proftxt LIKE '%[_]G%'
OR proftxt LIKE '%[_]L%'
OR proftxt IS NULL

然后索引此列：

CREATE NONCLUSTERED INDEX [IX_PROFTXTTYPE] ON [dbo].[TBL_SLP] (PROFTXTTYPE ASC) ON [PRIMARY]

现在根据 proftxttype 重写您的更新。当然，每当您插入或更新 proftxt 时，您还必须更新 proftxttype。这是不可避免的，但 SQL Server 将负责使索引保持最新，因此您不必担心索引。

我知道这听起来需要做很多工作，但问题的核心是每次要查找带有前导通配符的 proftxt 值时，您都在扫描整个表。

score 1 · Accepted Answer

我结合了两个（真的很有帮助！）答案。正如criticalfix告诉我的那样，我添加了一个用于在表上设置索引的coloum proftype：

ALTER TABLE
ADD proftype CHAR(1)
GO

UPDATE tbl_SLPverrechnetWPNSP 
SET proftype = 'W'
WHERE proftxt LIKE '%[_]WP%' 

UPDATE tbl_SLP 
SET proftype = 'N'
WHERE proftxt LIKE '%[_]NS%'

UPDATE tbl_SLP
SET proftype = 'H'
WHERE proftxt LIKE '%[_]H%'
    OR proftxt IS NULL

UPDATE tbl_SLP 
SET proftype = 'G'
WHERE proftxt LIKE '%[_]G%'

UPDATE tbl_SLP
SET proftype = 'L'
WHERE proftxt LIKE '%[_]L%'

--set index on proftype
CREATE NONCLUSTERED INDEX [IX_PROFTYPE] ON [dbo].[tbl_SLP] (proftype ASC) ON [PRIMARY]
GO

接下来我使用来自 bob 的代码来编辑我的表格。

SET XACT_ABORT ON
SET NOCOUNT ON

BEGIN TRANSACTION

-- Create a temp table with each ao-year's sums and counts (sums of N and W record values and counts of H, G, and L records)
SELECT T.ao, T.year, SUM(CONVERT(float, T.value)) AS SumVals, (SELECT COUNT(*) 
                                                FROM tbl_slp A 
                                                WHERE A.ao = T.ao 
                                                    AND A.year = T.year 
                                                    AND (A.proftype ='G' OR A.proftype = 'H' OR A.proftype = 'L' )) 
                                                AS CountOther
INTO #temp1 
FROM tbl_slp T
WHERE (T.proftype = 'W' OR T.proftype = 'N')
GROUP BY T.ao, T.year

-- Add "sum/count" for each ao-year to the H, G, and L records for that year
UPDATE A
SET value = value + CONVERT(FLOAT, T.SumVals) / T.CountOther
FROM tbl_slp A 
INNER JOIN #temp1 T ON A.ao = T.ao AND A.year = T.year
WHERE (A.proftype = 'H' OR A.proftype = 'G' OR A.proftype LIKE 'L')

-- Now that we've distributed the W and N values, delete those records
DELETE A
FROM tbl_slp A
INNER JOIN #temp1 T ON A.ao = T.ao AND A.year = T.year
WHERE (A.proftype = 'W' OR A.proftype = 'N')
 AND T.CountOther > 0

 DROP TABLE #temp1

COMMIT TRANSACTION

十分感谢你的帮助！例程只跑了 3,5 分钟！！！

sql-server - 更新/删除查询的性能

3 回答 3

Related

Reference