7

我有一个巨大的表（30 亿行），不幸的是其中大部分包含过期数据。我想简单地删除所有这些过期的行，并保留其余的。

我可以执行这样的语句：

delete from giganticTable where exp_date < getDate()

执行计划以某种方式估计将删除大约 4 亿行。

执行时，不仅一个小时后没有完成，而且数据库事务日志文件也从 6 GB 增长到 90 GB。请注意，发生这种情况时，数据库处于批量日志恢复模式。我最终取消了这个查询，因为我确信一定有更好的方法来做到这一点。

我有几个表需要执行类似的操作。如果我绝对不想恢复它们，那么删除这些行的最快和最节省空间的方法是什么？

请注意，我使用的是 Microsoft SQL Server 2005。

4

3 回答 3

9

我发现它在从具有大量行的表中删除以批量删除大约 5000 行时很有用（我通常会测试哪个值最快，有时是 5000 行，有时是 10,000 行等） . 这样可以让每个删除操作快速完成，而不是等待一个语句敲掉 4 亿条记录很长时间。

在 SQL Server 2005 中，这样的事情应该可以工作（当然，请先测试）：

WHILE EXISTS ( SELECT * FROM giganticTable WHERE exp_date < getDate())
BEGIN
  DELETE TOP(5000) FROM giganticTable WHERE exp_date < getDate()
END

我会看到批量删除对日志文件大小的影响。如果它仍然炸毁日志，那么您可以尝试将 Recovery Model 更改为Simple，删除记录，然后切换回 Bulk Logged，但前提是系统可以容忍丢失一些最近的数据。在尝试该过程之前，我肯定会进行完整备份。该线程还建议您可以设置一个作业来备份仅指定截断的日志，因此这可能是另一种选择。希望您有一个可以测试的实例，但我将从批量删除开始，看看它如何影响性能和日志文件大小。

于 2011-05-08T04:32:25.307 回答
3

当您想在表上做大量工作时，您真的不想尝试任何愚蠢的事情，例如关闭日志记录，因为长时间任务期间的任何问题都可能很容易导致数据库损坏和其他问题。但是，有一种方法可以解决您的问题。

创建一个与真实表的架构匹配的临时表。用您想要保留的数据填充它。然后，截断原始表（在日志文件上非常快速和容易）。最后，将数据移出临时表并放入原始（现在为空）表中。

如果您使用自动递增的主键，则需要强制该字段采用您的原始键（这样以后就不会出现问题）。

于 2011-05-08T04:00:00.520 回答
1

你应该每天都做，所以你不会一次得到这么大的工作。
既然你处于这种情况，这里是我的建议：

  1. 像 rsbarro 所说的那样拆分工作。您可能不需要 while 语句——您可以在几天内完成。

  2. 明确地写日期，如：

    delete from giganticTable where exp_date < '2013-08-07'
  3. 我对巨大的日志没有一个好主意，似乎没有一个很好的方法。
于 2013-08-07T06:23:55.007 回答