1

我让这台服务器设置了一个实时流量日志数据库，其中包含一个大的统计数据表。现在我需要从中创建一个较小的表，假设是 30 天前。

该服务器还有一个复制数据的从服务器，比主服务器晚 5 秒。我创建了这个从站是为了减少用于选择查询的服务器进程，因此它只适用于流量日志的插入/更新。

现在我需要将最后一天复制到较小的表中，并且仍然不使用“真实”数据库，因此我需要从从属中选择并插入到真正的较小表中。（从机只允许读操作）。

我正在使用 PHP，我无法通过一个查询在一个查询中使用两个不同的数据库来解决这个问题......如果可能，请告诉我如何？

当使用两个查询时，我需要将最后一天保存为 PHP MySQL 对象。对于 300K-650K 的行，它开始成为缓存问题。我会使用 ID 的部分选择（通过在 where 术语处设置 id）块，但我没有自动增量 id 字段并且行没有 id（当存储流量数据时，id 会占用大量空间） .

所以我正在尝试这个想法，我想得到第二个意见。

如果我一次取最后一天（300K 行），它将使 PHP 内存过载。我可以使用限制块，或者一个新想法：一次选择一列并将这一列复制到新的真实表中。但我不知道第二种方法是否可行。插入是否在列级别或行级别查看第一个开放空间？主要思想是减少选择的大小..所以是否可以按列构建选择，然后将它们作为列插入 mysql？

4

2 回答 2

0

那么这里是 php 开始变得奇怪的地方。我接受了你的建议并开始使用数据块。我使用了一个循环来推进 2000 行跳跃的限制。但有趣的是，当我开始使用 php 内存使用和内存峰值函数时，我发现 chunks 方法在大规模和循环中不起作用的原因是因为为 var 设置新值不会释放内存新设置之前的内容..所以你必须使用 unset 或 null 来保持你的记忆在 php，-

于 2013-01-05T17:24:36.820 回答
0

如果这只是 PHP 中的内存问题，您可以尝试使用 PDO 并一次获取 1 个结果行，而不是同时获取所有结果行。

来自PDO 的PHP.net：

<?php
function getFruit($conn) {
    $sql = 'SELECT name, color, calories FROM fruit ORDER BY name';
    foreach ($conn->query($sql) as $row) {
        print $row['name'] . "\t";
        print $row['color'] . "\t";
        print $row['calories'] . "\n";
    }
}
?>
于 2012-12-26T21:58:19.557 回答