1

我需要获取、转换然后将 4 000 000 行插入到另一个表中。不用说，在 300 000~ 个条目后会出现内存耗尽错误。在每个循环分配的内存之后恰好增加 160 字节。我知道使用 mysql_unbuffered_query() 是可能的，尽管它迫使我在执行另一个查询之前获取所有结果行，这最终导致内存耗尽错误再次出现。那么，单次运行的最佳方法是什么？

mysql_connect($host, $user, $password);
mysql_select_db($db);

$getOldData = mysql_query("
SELECT *
FROM players_online 
ORDER by id ASC
");
$numRows = mysql_num_rows($getOldData);

for ($i=0; $i < $numRows; $i++) { 
$oldData = mysql_fetch_assoc($getOldData);
$hour = explode(':', $oldData['hour']);
$quarters = $hour[0] * 4 + $hour[1] / 15;

$update = mysql_query("
    INSERT INTO players_online_2 (world_id, players_online, quarters_past_midnight, date)
    VALUES (
        '".$oldData['world_id']."', 
        '".$oldData['players_online']."', 
        '".$quarters."', 
        '".$oldData['date']."'
    )
    ON DUPLICATE KEY UPDATE
        world_id='".$oldData['world_id']."', 
        players_online='".$oldData['players_online']."', 
        quarters_past_midnight='".$quarters."', 
        date='".$oldData['date']."'
");

if (mysql_error()) {
    echo mysql_error();
    die();
}

echo memory_get_usage().PHP_EOL;

}

4

2 回答 2

1

MySQL Workbench将允许您导出旧数据库并将其导入新位置。

尽管如此，如果您想在 PHP 中执行此操作，您可能不应该一次性返回整个表格。您可以使用LIMITandOFFSET将查询拆分为页面，然后一次执行一页。像这样的东西：

for ($i = 0; $i < $Limit; $i++)
{
  // SELECT * FROM players_online ORDER by id ASC LIMIT 1000 OFFSET ' . $i
}
于 2013-06-01T14:38:20.340 回答
1

您可以在单个查询中执行此操作，例如：

INSERT INTO players_online_2 (world_id, players_online, quarters_past_midnight, date)
    select world_id, players_online, quarters_past_midnight, date
    FROM players_online po
    ORDER by id ASC
ON DUPLICATE KEY UPDATE
    world_id = po.world_id,
    players_online = po.players_online, 
    quarters_past_midnight = po.quarters_past_midnight, 
    date = po.date;
于 2013-06-01T15:00:17.077 回答