0 
DELIMITER $$

CREATE PROCEDURE Load_Fact_List()

BEGIN

  DECLARE Project_Number_Temp INT;
  DECLARE Panel_Id_Temp INT;
  DECLARE Employee_Id_Temp INT;
  DECLARE Zip_Temp VARCHAR(255);
  DECLARE Created_Date_Temp DATE;
  DECLARE Country_Temp VARCHAR(255);


  DECLARE no_more_rows BOOLEAN;
  DECLARE loop_cntr INT DEFAULT 0;
  DECLARE num_rows INT DEFAULT 0;


  DECLARE   load_cur    CURSOR FOR
SELECT  Project_Id, Panel_Id, Employee_Id, Zip, Created_Date
    FROM  Fact_List;



  DECLARE CONTINUE HANDLER FOR NOT FOUND
    SET no_more_rows = TRUE;


  OPEN load_cur;
  select FOUND_ROWS() into num_rows;

  the_loop: LOOP

    FETCH  load_cur
    INTO   Project_Number_Temp, Panel_Id_Temp, Employee_Id_Temp, Zip_Temp, Created_Date_Temp;


    IF no_more_rows THEN
        CLOSE load_cur;
        LEAVE the_loop;
    END IF;

SET Country_Temp= (select Country from Zip where Zip= Zip_Temp);

INSERT INTO Test_Fact
(   
        Project_Key, 
        Campaign_Key, 
        Respondents_Key, 
        Event_Key, 
        Employee_Key, 
        Geography_Key, 
        Date_Key    
)

SELECT (SELECT Project_Key from Project_Dim where Project_Id= Project_Number_Temp AND Quota_Country= Country_Temp),0,(SELECT MAX(Respondents_Key) from Respondents_Dim WHERE Panel_Id= Panel_Id_Temp),1,(select MAX(Employee_Key) from Employee_Dim WHERE Employee_Id= Employee_Id_Temp),(Select Geography_Key from Geography_Dim where Zip= Zip_Temp), (Select Date_Key from Date_Dim where Full_Date= Created_Date_Temp);

    SET loop_cntr = loop_cntr + 1;
  END LOOP the_loop;


  select num_rows, loop_cntr;


END $$

上面的代码可以正常工作，但是速度很慢。每 1 小时加载 1000 条记录。我缺少要加载到事实表中的记录。任何人都可以建议我进行任何优化吗？

要求是通过循环其他表并从维度表中收集所需的键值来加载事实表。

4

1 回答 1

1

通常的程序实际上是这样的。

您已经构建了维度，并且您刚刚收集了要插入到临时表中的事实表中的数据。然后将此数据插入另一个临时表中，如下所示：

INSERT INTO tmp_fact_table
(
fact_key,
dim1_key,
dim2_key,
...
fact1,
fact2
...
)
SELECT 
ISNULL (f.fact_key, 0),
ISNULL (d1.sid, 0) as whatever,
ISNULL (d2.sid, 0) as whatever2,
...
ISNULL (tt.fact1, 0),
ISNULL (tt.fact2, 0)
FROM
yourTempTable tt 
LEFT JOIN Dim1 d1 ON tt.identifying_column = d1.identifying_column
...
LEFT JOIN fact_table f ON 
f.dim1_key = d1.sid
AND f.dim2_key = d2.sid

在哪里

  • fact_key 是事实表中的标识列
  • dim1_key 是事实表中维度的外键
  • fact1 等是你想要的事实表中的事实，明确
  • 当没有找到条目时，ISNULL() 函数返回 0。0 是未知数据的每个维度中虚拟行的 id

然后，您将有一个表，其中您的维度 ID 链接到要导入事实表的数据，当事实表中的条目尚不存在时，以 0 作为事实键和事实表条目的 ID否则。

然后更新 tmp_fact_table.fact_key != 0 的事实表

然后插入到 tmp_fact_table.fact_key = 0 的事实表中

而已。

我正在使用数百万行执行此操作，大约需要半个小时。300,000 行是花生。

于 2013-02-18T12:04:25.290 回答