在我的应用程序的 SQL Server 后端中,我想为我的一组关键表创建历史表,这将跟踪行更改的历史记录。
我的整个应用程序使用存储过程,没有嵌入式 SQL。修改这些表的唯一数据库连接将是通过应用程序和 SP 接口。传统上,我合作过的商店使用触发器执行此任务。
如果我可以在存储过程和触发器之间进行选择,哪个更好?哪个更快?
在我的应用程序的 SQL Server 后端中,我想为我的一组关键表创建历史表,这将跟踪行更改的历史记录。
我的整个应用程序使用存储过程,没有嵌入式 SQL。修改这些表的唯一数据库连接将是通过应用程序和 SP 接口。传统上,我合作过的商店使用触发器执行此任务。
如果我可以在存储过程和触发器之间进行选择,哪个更好?哪个更快?
触发器。
我们编写了一个 GUI(内部称为Red Matrix Reloaded)以允许轻松创建/管理审计日志记录触发器。
这是使用的一些 DDL:
CREATE TABLE [AuditLog] (
[AuditLogID] [int] IDENTITY (1, 1) NOT NULL ,
[ChangeDate] [datetime] NOT NULL CONSTRAINT [DF_AuditLog_ChangeDate] DEFAULT (getdate()),
[RowGUID] [uniqueidentifier] NOT NULL ,
[ChangeType] [varchar] (50) COLLATE SQL_Latin1_General_CP1_CI_AS NOT NULL ,
[TableName] [varchar] (128) COLLATE SQL_Latin1_General_CP1_CI_AS NOT NULL ,
[FieldName] [varchar] (128) COLLATE SQL_Latin1_General_CP1_CI_AS NOT NULL ,
[OldValue] [varchar] (8000) COLLATE SQL_Latin1_General_CP1_CI_AS NULL ,
[NewValue] [varchar] (8000) COLLATE SQL_Latin1_General_CP1_CI_AS NULL ,
[Username] [varchar] (128) COLLATE SQL_Latin1_General_CP1_CI_AS NOT NULL ,
[Hostname] [varchar] (50) COLLATE SQL_Latin1_General_CP1_CI_AS NOT NULL ,
[AppName] [varchar] (128) COLLATE SQL_Latin1_General_CP1_CI_AS NULL ,
[UserGUID] [uniqueidentifier] NULL ,
[TagGUID] [uniqueidentifier] NULL ,
[Tag] [varchar] (8000) COLLATE SQL_Latin1_General_CP1_CI_AS NULL
)
CREATE TRIGGER LogInsert_Nodes ON dbo.Nodes
FOR INSERT
AS
/* Load the saved context info UserGUID */
DECLARE @SavedUserGUID uniqueidentifier
SELECT @SavedUserGUID = CAST(context_info as uniqueidentifier)
FROM master.dbo.sysprocesses
WHERE spid = @@SPID
DECLARE @NullGUID uniqueidentifier
SELECT @NullGUID = '{00000000-0000-0000-0000-000000000000}'
IF @SavedUserGUID = @NullGUID
BEGIN
SET @SavedUserGUID = NULL
END
/*We dont' log individual field changes Old/New because the row is new.
So we only have one record - INSERTED*/
INSERT INTO AuditLog(
ChangeDate, RowGUID, ChangeType,
Username, HostName, AppName,
UserGUID,
TableName, FieldName,
TagGUID, Tag,
OldValue, NewValue)
SELECT
getdate(), --ChangeDate
i.NodeGUID, --RowGUID
'INSERTED', --ChangeType
USER_NAME(), HOST_NAME(), APP_NAME(),
@SavedUserGUID, --UserGUID
'Nodes', --TableName
'', --FieldName
i.ParentNodeGUID, --TagGUID
i.Caption, --Tag
null, --OldValue
null --NewValue
FROM Inserted i
CREATE TRIGGER LogUpdate_Nodes ON dbo.Nodes
FOR UPDATE AS
/* Load the saved context info UserGUID */
DECLARE @SavedUserGUID uniqueidentifier
SELECT @SavedUserGUID = CAST(context_info as uniqueidentifier)
FROM master.dbo.sysprocesses
WHERE spid = @@SPID
DECLARE @NullGUID uniqueidentifier
SELECT @NullGUID = '{00000000-0000-0000-0000-000000000000}'
IF @SavedUserGUID = @NullGUID
BEGIN
SET @SavedUserGUID = NULL
END
/* ParentNodeGUID uniqueidentifier */
IF UPDATE (ParentNodeGUID)
BEGIN
INSERT INTO AuditLog(
ChangeDate, RowGUID, ChangeType,
Username, HostName, AppName,
UserGUID,
TableName, FieldName,
TagGUID, Tag,
OldValue, NewValue)
SELECT
getdate(), --ChangeDate
i.NodeGUID, --RowGUID
'UPDATED', --ChangeType
USER_NAME(), HOST_NAME(), APP_NAME(),
@SavedUserGUID, --UserGUID
'Nodes', --TableName
'ParentNodeGUID', --FieldName
i.ParentNodeGUID, --TagGUID
i.Caption, --Tag
d.ParentNodeGUID, --OldValue
i.ParentNodeGUID --NewValue
FROM Inserted i
INNER JOIN Deleted d
ON i.NodeGUID = d.NodeGUID
WHERE (d.ParentNodeGUID IS NULL AND i.ParentNodeGUID IS NOT NULL)
OR (d.ParentNodeGUID IS NOT NULL AND i.ParentNodeGUID IS NULL)
OR (d.ParentNodeGUID <> i.ParentNodeGUID)
END
/* Caption varchar(255) */
IF UPDATE (Caption)
BEGIN
INSERT INTO AuditLog(
ChangeDate, RowGUID, ChangeType,
Username, HostName, AppName,
UserGUID,
TableName, FieldName,
TagGUID, Tag,
OldValue, NewValue)
SELECT
getdate(), --ChangeDate
i.NodeGUID, --RowGUID
'UPDATED', --ChangeType
USER_NAME(), HOST_NAME(), APP_NAME(),
@SavedUserGUID, --UserGUID
'Nodes', --TableName
'Caption', --FieldName
i.ParentNodeGUID, --TagGUID
i.Caption, --Tag
d.Caption, --OldValue
i.Caption --NewValue
FROM Inserted i
INNER JOIN Deleted d
ON i.NodeGUID = d.NodeGUID
WHERE (d.Caption IS NULL AND i.Caption IS NOT NULL)
OR (d.Caption IS NOT NULL AND i.Caption IS NULL)
OR (d.Caption <> i.Caption)
END
...
/* ImageGUID uniqueidentifier */
IF UPDATE (ImageGUID)
BEGIN
INSERT INTO AuditLog(
ChangeDate, RowGUID, ChangeType,
Username, HostName, AppName,
UserGUID,
TableName, FieldName,
TagGUID, Tag,
OldValue, NewValue)
SELECT
getdate(), --ChangeDate
i.NodeGUID, --RowGUID
'UPDATED', --ChangeType
USER_NAME(), HOST_NAME(), APP_NAME(),
@SavedUserGUID, --UserGUID
'Nodes', --TableName
'ImageGUID', --FieldName
i.ParentNodeGUID, --TagGUID
i.Caption, --Tag
(SELECT Caption FROM Nodes WHERE NodeGUID = d.ImageGUID), --OldValue
(SELECT Caption FROM Nodes WHERE NodeGUID = i.ImageGUID) --New Value
FROM Inserted i
INNER JOIN Deleted d
ON i.NodeGUID = d.NodeGUID
WHERE (d.ImageGUID IS NULL AND i.ImageGUID IS NOT NULL)
OR (d.ImageGUID IS NOT NULL AND i.ImageGUID IS NULL)
OR (d.ImageGUID <> i.ImageGUID)
END
CREATE TRIGGER LogDelete_Nodes ON dbo.Nodes
FOR DELETE
AS
/* Load the saved context info UserGUID */
DECLARE @SavedUserGUID uniqueidentifier
SELECT @SavedUserGUID = CAST(context_info as uniqueidentifier)
FROM master.dbo.sysprocesses
WHERE spid = @@SPID
DECLARE @NullGUID uniqueidentifier
SELECT @NullGUID = '{00000000-0000-0000-0000-000000000000}'
IF @SavedUserGUID = @NullGUID
BEGIN
SET @SavedUserGUID = NULL
END
/*We dont' log individual field changes Old/New because the row is new.
So we only have one record - DELETED*/
INSERT INTO AuditLog(
ChangeDate, RowGUID, ChangeType,
Username, HostName, AppName,
UserGUID,
TableName, FieldName,
TagGUID, Tag,
OldValue,NewValue)
SELECT
getdate(), --ChangeDate
d.NodeGUID, --RowGUID
'DELETED', --ChangeType
USER_NAME(), HOST_NAME(), APP_NAME(),
@SavedUserGUID, --UserGUID
'Nodes', --TableName
'', --FieldName
d.ParentNodeGUID, --TagGUID
d.Caption, --Tag
null, --OldValue
null --NewValue
FROM Deleted d
为了知道软件中的哪个用户进行了更新,每个连接都通过调用存储过程“将自己登录到 SQL Server”:
CREATE PROCEDURE dbo.SaveContextUserGUID @UserGUID uniqueidentifier AS
/* Saves the given UserGUID as the session's "Context Information" */
IF @UserGUID IS NULL
BEGIN
PRINT 'Emptying CONTEXT_INFO because of null @UserGUID'
DECLARE @BinVar varbinary(128)
SET @BinVar = CAST( REPLICATE( 0x00, 128 ) AS varbinary(128) )
SET CONTEXT_INFO @BinVar
RETURN 0
END
DECLARE @UserGUIDBinary binary(16) --a guid is 16 bytes
SELECT @UserGUIDBinary = CAST(@UserGUID as binary(16))
SET CONTEXT_INFO @UserGUIDBinary
/* To load the guid back
DECLARE @SavedUserGUID uniqueidentifier
SELECT @SavedUserGUID = CAST(context_info as uniqueidentifier)
FROM master.dbo.sysprocesses
WHERE spid = @@SPID
select @SavedUserGUID AS UserGUID
*/
笔记
有时将“OldValue”和“NewValue”值写为子选择 - 以获得有意义的字符串。IE”
旧值:{233d-ad34234..} 新值:{883-sdf34...}
在审计追踪中不如以下有用:
OldValue: Daimler Chrysler
NewValue: Cerberus Capital Management
最后说明:随意不要做我们所做的事情。这对我们来说很好,但其他人可以自由地不使用它。
在 SQL Server 2008 中,MSDN 上称为 CDC(更改数据捕获)的新功能 CDC可以提供帮助。CDC 是一种无需编写触发器或其他机制即可将表数据的更改记录到另一个表中的能力,更改数据捕获记录 SQL Server 中表的插入、更新和删除等更改,从而使更改的详细信息在关系中可用格式。
我们有一个用于生成触发器的第三方工具ApexSQL Audit 。
以下是触发器在后台的外观以及数据的存储方式。希望人们会发现这足以对流程进行逆向工程。它与 Ian Boyd 在他的示例中展示的有点不同,因为它允许单独审计每个列。
表 1 – 保存交易详情(谁、何时、应用程序、主机名等)
CREATE TABLE [dbo].[AUDIT_LOG_TRANSACTIONS](
[AUDIT_LOG_TRANSACTION_ID] [int] IDENTITY(1,1) NOT NULL,
[DATABASE] [nvarchar](128) NOT NULL,
[TABLE_NAME] [nvarchar](261) NOT NULL,
[TABLE_SCHEMA] [nvarchar](261) NOT NULL,
[AUDIT_ACTION_ID] [tinyint] NOT NULL,
[HOST_NAME] [varchar](128) NOT NULL,
[APP_NAME] [varchar](128) NOT NULL,
[MODIFIED_BY] [varchar](128) NOT NULL,
[MODIFIED_DATE] [datetime] NOT NULL,
[AFFECTED_ROWS] [int] NOT NULL,
[SYSOBJ_ID] AS (object_id([TABLE_NAME])),
PRIMARY KEY CLUSTERED
(
[AUDIT_LOG_TRANSACTION_ID] ASC
)
)
表 2 – 保留之前/之后的值。
CREATE TABLE [dbo].[AUDIT_LOG_DATA](
[AUDIT_LOG_DATA_ID] [int] IDENTITY(1,1) NOT NULL,
[AUDIT_LOG_TRANSACTION_ID] [int] NOT NULL,
[PRIMARY_KEY_DATA] [nvarchar](1500) NOT NULL,
[COL_NAME] [nvarchar](128) NOT NULL,
[OLD_VALUE_LONG] [ntext] NULL,
[NEW_VALUE_LONG] [ntext] NULL,
[NEW_VALUE_BLOB] [image] NULL,
[NEW_VALUE] AS (isnull(CONVERT([varchar](8000), [NEW_VALUE_LONG],0),CONVERT([varchar](8000),CONVERT([varbinary](8000),substring([NEW_VALUE_BLOB],(1),(8000)),0),0))),
[OLD_VALUE] AS (CONVERT([varchar](8000),[OLD_VALUE_LONG],0)),
[PRIMARY_KEY] AS ([PRIMARY_KEY_DATA]),
[DATA_TYPE] [char](1) NOT NULL,
[KEY1] [nvarchar](500) NULL,
[KEY2] [nvarchar](500) NULL,
[KEY3] [nvarchar](500) NULL,
[KEY4] [nvarchar](500) NULL,
PRIMARY KEY CLUSTERED
(
[AUDIT_LOG_DATA_ID] ASC
)
)
插入触发器
我没有显示更新触发器,因为它们很长并且与这个具有相同的逻辑。
CREATE TRIGGER [dbo].[tr_i_AUDIT_Audited_Table]
ON [dbo].[Audited_Table]
FOR INSERT
NOT FOR REPLICATION
As
BEGIN
DECLARE
@IDENTITY_SAVE varchar(50),
@AUDIT_LOG_TRANSACTION_ID Int,
@PRIM_KEY nvarchar(4000),
@ROWS_COUNT int
SET NOCOUNT ON
Select @ROWS_COUNT=count(*) from inserted
Set @IDENTITY_SAVE = CAST(IsNull(@@IDENTITY,1) AS varchar(50))
INSERT
INTO dbo.AUDIT_LOG_TRANSACTIONS
(
TABLE_NAME,
TABLE_SCHEMA,
AUDIT_ACTION_ID,
HOST_NAME,
APP_NAME,
MODIFIED_BY,
MODIFIED_DATE,
AFFECTED_ROWS,
[DATABASE]
)
values(
'Audited_Table',
'dbo',
2, -- ACTION ID For INSERT
CASE
WHEN LEN(HOST_NAME()) < 1 THEN ' '
ELSE HOST_NAME()
END,
CASE
WHEN LEN(APP_NAME()) < 1 THEN ' '
ELSE APP_NAME()
END,
SUSER_SNAME(),
GETDATE(),
@ROWS_COUNT,
'Database_Name'
)
Set @AUDIT_LOG_TRANSACTION_ID = SCOPE_IDENTITY()
--This INSERT INTO code is repeated for each columns that is audited.
--Below are examples for only two columns
INSERT INTO dbo.AUDIT_LOG_DATA
(
AUDIT_LOG_TRANSACTION_ID,
PRIMARY_KEY_DATA,
COL_NAME,
NEW_VALUE_LONG,
DATA_TYPE
, KEY1
)
SELECT
@AUDIT_LOG_TRANSACTION_ID,
convert(nvarchar(1500), IsNull('[PK_Column]='+CONVERT(nvarchar(4000), NEW.[PK_Column], 0), '[PK_Column] Is Null')),
'Column1',
CONVERT(nvarchar(4000), NEW.[Column1], 0),
'A'
, CONVERT(nvarchar(500), CONVERT(nvarchar(4000), NEW.[PK_Column], 0))
FROM inserted NEW
WHERE NEW.[Column1] Is Not Null
--value is inserted for each column that is selected for auditin
INSERT INTO dbo.AUDIT_LOG_DATA
(
AUDIT_LOG_TRANSACTION_ID,
PRIMARY_KEY_DATA,
COL_NAME,
NEW_VALUE_LONG,
DATA_TYPE
, KEY1
)
SELECT
@AUDIT_LOG_TRANSACTION_ID,
convert(nvarchar(1500), IsNull('[PK_Column]='+CONVERT(nvarchar(4000), NEW.[PK_Column], 0), '[PK_Column] Is Null')),
'Column2',
CONVERT(nvarchar(4000), NEW.[Column2], 0),
'A'
, CONVERT(nvarchar(500), CONVERT(nvarchar(4000), NEW.[PK_Column], 0))
FROM inserted NEW
WHERE NEW.[Column2] Is Not Null
End
免责声明:我与 Apex 没有任何关系,但我确实在我目前的工作中使用了他们的工具。
正如其他人所说,触发器。它们更容易进行单元测试,并且对于直接访问进行随机查询的表的高级用户来说更具弹性。
至于更快?确定数据库中什么是快是一个具有大量变量的难题。如果没有“尝试两种方法并进行比较”,您将不会得到关于哪种方法更快的有用答案。变量包括所涉及的表的大小、正常的更新模式、服务器中磁盘的速度、内存量、用于缓存的内存量等。这个列表是无穷无尽的,每个变量都会影响是否触发比 SP 内的自定义 SQL 更快。
好的。快速地。便宜的。选择两个。触发器在完整性方面很好,在维护方面可能很便宜。可以说他们也很快,因为一旦他们工作,你就完成了他们。SP 是一个维护问题,将东西推入维护可能很快,但绝不是好的或便宜的。
祝你好运。
推荐的方法取决于您的要求。如果历史表用于审计跟踪,您需要捕获每个操作。如果历史表只是出于性能原因,那么计划的 SQL 代理数据传输作业就足够了。
要捕获每个操作,请使用 AFTER TRIGGERs 或 Change Data Capture。
After 触发器为您提供了两个临时表以在触发器内部进行操作:
您可以从这些临时表中插入历史记录表,并且您的历史记录表将始终是最新的。您可能希望在历史记录表中添加版本编号、时间戳或两者,以分隔对单个源行的更改。
变更数据捕获 (CDC) 旨在创建一个增量表,您可以将其用作将数据加载到数据仓库(或历史表)的源。与触发器不同,CDC 是异步的,您可以使用任何方法和调度来填充目标(sprocs、SSIS)。
您可以使用 CDC 访问原始数据和更改。更改跟踪(CT) 仅检测更改的行。可以使用 CDC 而不是 CT 构建完整的审计跟踪。CDC 和 CT都仅在 MSSQL 2008 Enterprise 和 Developer Edition 中可用。
为此使用触发器。这意味着任何更改,无论来源如何,都将反映在历史记录表中。它有利于安全性,对故障模式有弹性,比如人们忘记添加代码来更新历史表等等。
由于执行时间将由 I/O 控制,因此这种类型的操作都不太可能有任何特定的速度差异。
需要非常小心的一个问题是确定此表的预期用例,并确保它为此目的正确构建。
具体来说,如果它是针对利益相关者的操作审计跟踪,这与表中记录更改的前后快照有很大不同。(事实上,除了调试之外,我很难想象记录更改有什么好的用途。)
审计跟踪通常至少需要用户 ID、时间戳和操作代码——可能还需要一些有关操作的详细信息。示例 - 更改采购订单中行项目的订购数量。
对于这种类型的审计跟踪,您不想使用触发器。在 BR 层中嵌入这些事件的生成越高越好。
OTOH,对于记录级别的更改,触发器是正确的匹配。但是从您的 dbms 日志文件中获取它通常也更容易。
我更喜欢对审计表使用触发器,因为触发器可以捕获所有更新、插入和删除,而不仅仅是通过某些存储过程调用的更新、插入和删除:
CREATE TRIGGER [dbo].[tr_Employee_rev]
ON [dbo].[Employee]
AFTER UPDATE, INSERT, DELETE
AS
BEGIN
IF EXISTS(SELECT * FROM INSERTED) AND EXISTS (SELECT * FROM DELETED)
BEGIN
INSERT INTO [EmployeeRev](EmployeeID,Firstname,Initial,Surname,Birthdate,operation, updated, updatedby) SELECT inserted.ID, inserted.Firstname,inserted.Initial,inserted.Surname,inserted.Birthdate,'u', GetDate(), SYSTEM_USER FROM INSERTED
END
IF EXISTS (SELECT * FROM INSERTED) AND NOT EXISTS(SELECT * FROM DELETED)
BEGIN
INSERT INTO [EmployeeRev](EmployeeID,Firstname,Initial,Surname,Birthdate,operation, updated, updatedby) SELECT inserted.ID, inserted.Firstname,inserted.Initial,inserted.Surname,inserted.Birthdate,'i', GetDate(), SYSTEM_USER FROM INSERTED
END
IF EXISTS(SELECT * FROM DELETED) AND NOT EXISTS(SELECT * FROM INSERTED)
BEGIN
INSERT INTO [EmployeeRev](EmployeeID,Firstname,Initial,Surname,Birthdate,operation, updated, updatedby) SELECT deleted.ID, deleted.Firstname,deleted.Initial,deleted.Surname,deleted.Birthdate,'d', GetDate(), SYSTEM_USER FROM DELETED
END
END
我使用 SQLServer 为修订表生成 SQL,而不是手动编码。此代码可在https://github.com/newdigate/sqlserver-revision-tables上找到
触发器。现在您可能会说更新数据的唯一方法是通过您的 SP,但情况可能会发生变化,或者您可能需要进行大规模插入/更新,而使用 SP 将过于麻烦。使用触发器。
这取决于应用程序的性质和表结构、索引数量、数据大小等、外键等。如果这些是相对简单的表(没有或很少有索引,如日期时间/整数列上的索引),数据有限设置(< 100 万行),您可能可以使用触发器。
请记住,触发器可能是锁定问题的根源。我假设如果您使用历史表作为一种审计跟踪,您将对它们进行索引以供将来参考。如果触发器更新由于索引而导致插入/更新/删除缓慢的历史表,则过程调用将阻塞,直到触发器完成。此外,如果触发器中将更新任何外键约束,这也可能会影响性能。
在这种情况下,这一切都取决于表索引。我们将 Sql Server 2000 用于每天处理超过 10 万笔金融交易的 24/7 应用程序。最大/主表有超过 1 亿行和 15 个索引(如果需要正常运行时间,大规模删除是不可能的)。尽管所有 SQL 都在存储过程中完成,但由于性能下降,我们不使用触发器或外键。
触发器。这是我的方法:
以这种方式进行审计可以保持源表中的当前状态和审计表中的所有历史记录,并且可以通过键列轻松识别。