6

我需要提高数据加载的性能。当前算法从表中进行全选:

select Field1, Field2,...,FieldN from Table1 order by FieldM

新数据是从文本文件中读取的(例如,每个数据表行的文本文件行)。该表有一个主键,包含两个字段。对于文本文件的每一行,它通过这两个字段(即主键)定位必要的行。

query.Locate('Field1;Field2',VarArrayOf([Value1,Value2]),[]);

如果Locate返回True,则编辑该行,否则添加一个新行。

因此,就表包含大约 200000 行而言,每个Locate操作都需要一定的时间……因此它每秒可以更新大约 5-6 行。

我应该考虑哪些事情来改进它?

可能用单独的查询替换通过这个很棒的选择进行定位?

4

2 回答 2

10

不要使用定位()。如果您使用 locate() 那么 Delphi 在客户端搜索行只是从您的查询中扫描行集,这需要很多时间。

如果您有权访问 MSSQL 来创建存储过程,则创建以下过程并在没有任何条件的情况下为您的 TEXT 文件中的每一行运行它(在 Delphi 中使用 TAdoStoredProc.ExecProc)。所以在这种情况下,您不需要先选择和定位程序。如果找到 Filed1 和 Field2,它会更新记录,如果没有,则插入。

CREATE PROCEDURE dbo.update_table1 
@Field1 int, --key1
@Field2 int, --key2
@Field3 int, -- data fileds
@Field4 int

AS

SET NOCOUNT ON
update table1 set Field3=@Field3,Field4=@Field4 
        where Field1=@Field1 and Field2=@Field2;
IF(@@Rowcount=0)
BEGIN
     insert into table1(Field1,Field2,Field3,Field4) 
                values (@Field1,@Field2,@Field3,@Field4);
END
GO

下面是使用 ADO 调用此存储过程的 Delphi 代码:

......
var 
     ADOStoredP: TADOStoredProc;

  ......
begin

........
    ADOStoredP:=TADOStoredProc.Create(nil);
   try
      ADOStoredP.Connection:=DataMod.SQL_ADOConnection; //Your ADO Connection instance here
      ADOStoredP.ProcedureName:='Update_table1';
      ADOStoredP.Parameters.CreateParameter('@Field1', ftInteger, pdInput, 0, 0);
      ADOStoredP.Parameters.CreateParameter('@Field2', ftInteger, pdInput, 0, 0);
      ADOStoredP.Parameters.CreateParameter('@Field3', ftInteger, pdInput, 0, 0);
      ADOStoredP.Parameters.CreateParameter('@Field4', ftInteger, pdInput, 0, 0);

      While () -- Your text file loop here
      begin

      ADOStoredP.Parameters.ParamByName('@Field1').Value:=Field1 value from text file here;
      ADOStoredP.Parameters.ParamByName('@Field2').Value:=Field2 value from text file here;
      ADOStoredP.Parameters.ParamByName('@Field3').Value:=Field3 value from text file here;
      ADOStoredP.Parameters.ParamByName('@Field4').Value:=Field4 value from text file here;

      ADOStoredP.ExecProc;

      end

    finally
      if Assigned(ADOStoredP) then
        begin
         ADOStoredP.Free;
        end;
    end;

........
end;
于 2012-09-13T05:57:09.177 回答
5
  1. 如果可能,那么您应该将文本文件发送到运行 SQL Server 的服务器。然后使用OPENROWSET(BULK)打开文本文件(请参阅“E. 使用带有格式文件的 OPENROWSET BULK 提供程序从文本文件中检索行”)。
  2. 如果您无法将文本文件发送到服务器,则创建临时或持久数据库表并使用 INSERT 将所有文本文件行插入表中。
  3. 如果您使用的是 SQL Server 2008,那么您应该使用MERGE运算符。如果 SQL Server 版本比较旧,那么可以使用两个 SQL 命令:UPDATE 和 INSERT。并作为数据源使用 (1) OPENROWSET 或 (2) DB 表。
于 2012-09-13T05:04:07.457 回答