php - 使用大 CSV 更新数据库

Question

我需要每天更新我的 MySql 中的 10.000 个项目。我已上传 CSV 文件并尝试更新我的数据库数据。我正在分叉两个领域。我的问题是可行，但在某些时候我得到 504 Gateway Time-out 并且我的上传无法完成该过程。

这是我的代码

if(is_uploaded_file($_FILES["filename"]["tmp_name"])){
        //      
        move_uploaded_file($_FILES["filename"]["tmp_name"], "".$_SERVER["DOCUMENT_ROOT"]."/upload/".$_FILES["filename"]["name"]);
    $file_path="".$_SERVER["DOCUMENT_ROOT"]."/upload/".$_FILES["filename"]["name"]."";

    $file=file_get_contents("".$file_path."");
    $file=iconv("windows-1251", "utf-8",$file);
    file_put_contents("".$file_path."",$file);

if(!setlocale(LC_ALL, 'ru_RU.utf8')) setlocale(LC_ALL, 'en_US.utf8'); if(setlocale(LC_ALL, 0) == 'C') die('       (ru_RU.utf8, en_US.utf8)');
    if (($handle_f = fopen($file_path, "r")) !== FALSE) { 
        //   csv
        while (($data_f = fgetcsv($handle_f,99999,";"))!== FALSE) {
            //   ean13 
            $sql="SELECT id_product FROM ps_product WHERE reference = '".$data_f[0]."'";
            $id_product = Db::getInstance()->getValue($sql,0);  

            //   ,    
            if ($id_product) {      
                $sql=mysql_query("UPDATE `ps_product` SET `quantity` ='".$data_f[1]."' WHERE `reference`='".$data_f[0]."'");
                echo "<p style='color:green'>Items<b>".$data_f[0]."</b> updated</p>";
            } else{
                echo "<p style='color:red  '>Items<b>".$data_f[0]."</b> not found</p>";
            }
        }
      echo "<b>Update is complited</b>";  

    }else{
        echo "Can`t open imported file";
    }
}else{
    echo '
    <h2>Quantity update:</h2>
    <form action="'.$_SERVER["PHP_SELF"].'" method="post" enctype="multipart/form-data">
              <input type="file" name="filename"><br>
              <input type="submit" value="Load"><br>
    </form>
    ';
}

现在，我在 excel 中拆分了许多文件，每次失败约 1000 个并更新数据库。这需要一些时间。你能给我一个想法，或者我的代码中可能有一些错误？我认为使用 ajax 更新无济于事。

score 0 · Accepted Answer

你有参考索引吗？如果你不这样做，每次更新都需要很长时间。

此外，您有一些主要的 SQL 注入问题，并且 mysql 在贬值，切换到 mysqli。

score 0 · Accepted Answer

504 Bad Gateway Timeout是当您的网关/代理服务器没有timely response从您的处理服务器获得时。在这种情况下，即使处理服务器确实完成了所有更新，因为它没有向您的代理发送任何消息来让它知道处理仍在进行中，代理也会关闭连接。

在这种情况下，使用 ajax 进行更新并不是一个好主意。但是，有一个ajax design pattern可以heartbeat pattern帮助您的方法。基本思想是这样的：

您对处理页面进行正常调用以启动 CSV 更新
此外，您在页面中设置了一个 javascript 计时器，它每 X 分钟对服务器页面进行一次 ajax 调用
服务器以简单的消息响应。甚至可以只是一个字符
您的客户端 ajax 可以忽略此消息，或打印它或其他
X 分钟后会发生相同的过程。
与此同时，您在第一步中启动的 CSV 处理仍在继续

这continuous message request and response称为heartbeat. 它有助于保持connection alive服务器处理的时间。一旦服务器处理结束并且您得到确认，您可以终止计时器并根据需要关闭连接。

当然，在处理服务器端，您可以执行其他操作increase timeout lenght，例如add database indexes等，以确保php process timeout不会发生 a。

但是请注意，进程超时与网关超时不同。

score 0 · Accepted Answer

我需要将大型 CSV 加载到 MySQL 中，并且发现最好的解决方案是创建一个可以保存原始 CSV 数据的表。我使用与 CSV 相同的字段创建表，然后使用进行批量导入LOAD DATA，这很快，然后我可以使用 SQL 对数据执行必要的查询。

LOAD DATA LOCAL INFILE '{$filename}' 
INTO TABLE {$table_name} 
FIELDS TERMINATED BY '|' 
LINES TERMINATED BY '\n'

一旦您在表中拥有 CSV 数据，您就可以简单地在块中运行查询（LIMIT 和 OFFSET）Psudeo 代码，例如

DEFINE("BLOCK_SIZE",100);

// Get the total rows in CSV table so when can divide into blocks
SELECT SQL_CALC_FOUND_ROWS  * 
FROM   my_csv_table
LIMIT  1;

$total_rows = SELECT FOUND_ROWS();

for($counter = 0; $counter < $total_rows; $counter += BLOCK_SIZE)
{

    SELECT * 
    FROM   my_csv_table
    LIMIT  BLOCK_SIZE
    OFFSET $loop_counter;

    foreach $row 
    {

        // UPDATE YOUR REAL TABLE IF MATCHED

    }

}

php - 使用大 CSV 更新数据库

3 回答 3

Related

Reference