7

我们有一个成熟的 Oracle 数据库应用程序（已投入生产超过 10 年），在此期间，我们一直在使用自己设计的脚本来删除不再需要的旧数据。它们通过在频繁提交的循环中针对适当的表发出删除语句来工作，以避免系统因 i/o 过载或使用过多的撤消空间。

在大多数情况下，它们工作正常。它们每天运行，大约需要一个小时才能从系统中删除最旧日期的数据。我主要担心的是所有这些删除可能对表和索引产生的影响，以及即使它们不会过度加载系统，在短时间内删除一天的数据确实会产生影响实例缓冲区缓存，导致后续查询在接下来的几个小时内运行速度稍慢，因为缓存逐渐恢复。

多年来，我们一直在考虑更好的方法。过去，我听说人们使用分区表来管理旧数据的回收——例如，每个分区一个月，然后每月删除最旧的分区。这种方法的主要缺点是我们的收获规则超出了“删除 X 月”的范围。允许用户根据键值指定数据必须在系统中保留多长时间（例如，在发票表中，帐户 foo 可以在 3 个月后删除，但帐户栏可能需要保留 2 年）。

还有参照完整性的问题；Oracle 文档主要在数据仓库的上下文中讨论使用分区来清除数据，其中表往往是超立方体。我们的更接近于 OLTP，X 月的数据与 Y 月的数据有关联是很常见的。为这些表创建正确的分区键充其量是很麻烦的。

至于缓存井喷，我读过一些关于设置专用缓冲区缓存的内容，但似乎更多的是基于每个表，而不是基于每个用户或每个事务。为了保留缓存，我真的很希望收割工作在任何时候只将一个事务的数据保留在缓存中，因为一旦删除就不需要保留数据。

在可预见的未来，我们是否坚持使用删除，还是有其他更聪明的方法来处理收获？

4

4 回答 4

4

在大多数情况下，我认为您被困在删除中。

您对在您的案例中使用分区的难度的评论可能确实会阻止它们被有效使用（根据记录类型使用不同的删除日期），但您可以在您的记录上创建一个“删除日期”列可以分区吗？它的缺点是使更新变得非常昂贵，因为删除日期的更改可能会导致行迁移，因此您的更新将真正实现为删除和插入。

即使那样，由于参照完整性问题，您也可能无法使用 DDL 分区操作来删除旧数据，但分区仍然可能用于对要删除的行进行物理聚类，以便删除更少的块需要修改它们，减轻对缓冲区缓存的影响。

于 2009-06-11T17:30:22.323 回答
0

只要您重建索引，删除并没有那么糟糕。Oracle 将恢复不再包含数据的页面。

然而，从 8i 开始（很可能仍然如此），它无法正确恢复不再包含有效引用的索引页。更糟糕的是，由于索引叶子是链式的，您可能会遇到一种情况，它会开始遍历叶子节点以查找行。这将导致性能显着下降：通常需要几秒钟的查询可能需要几分钟。下降也很突然：前一天还可以，第二天就不行了。

我在一个使用增加键和定期删除数据的应用程序中发现了这种行为（有一个 Oracle 错误，所以其他人也有）。我们的解决方案是反转部分密钥，但这对日期没有帮助。

于 2009-06-11T17:39:39.137 回答
0

我们有同样的问题，使用同样的策略。如果情况变得非常糟糕（索引、表等的非常碎片化的分配），我们会尝试应用空间回收操作。

表必须允许行移动（如闪回）：alter table TTT 启用行移动；alter table TTT 收缩空间；然后重建所有索引。

我不知道您的维护窗口如何，如果应用程序必须一直可用，那就更难了，如果不是，您可以在离线时进行一些“重新打包”。“alter table TTT move tablespace SSSS”在表被重写时做了很多清理混乱的工作。您还可以指定新的存储参数，例如范围管理、大小……查看文档。

我使用这样的脚本为整个数据库创建脚本：

SET SQLPROMPT "-- "
SET ECHO OFF
SET NEWPAGE 0
SET SPACE 0
SET PAGESIZE 0
SET FEEDBACK OFF
SET HEADING OFF
SET TRIMSPOOL ON
SET TERMOUT OFF
SET VERIFY OFF
SET TAB OFF
spool doit.sql
select 'prompt Enabling row movement in '||table_name||'...'||CHR (10)||'alter table '||table_name||' enable row movement;' from user_tables where table_name not like '%$%' and table_name not like '%QTAB' and table_name not like 'SYS_%';
select 'prompt Setting initial ext for '||table_name||'...'||CHR (10)||'alter table '||table_name||' move storage (initial 1m);' from user_tables where table_name not like '%$%' and table_name not like '%QTAB' and table_name not like 'SYS_%';
select 'prompt Shrinking space for '||table_name||'...'||CHR (10)||'alter table '||table_name||' shrink space;' from user_tables where table_name not like '%$%' and table_name not like '%QTAB' and table_name not like 'SYS_%';
select 'prompt Rebuilding index '||index_name||'...'||CHR (10)||'alter index '||index_name||' rebuild;' from user_indexes where status = 'UNUSABLE';
spool off
prompt now check and then run @doit.sql
exit
于 2009-06-15T20:58:23.150 回答
0

如果您暂时停用索引，执行删除然后重建它们怎么办？它会提高删除的性能吗？当然，在这种情况下，您必须确保脚本正确并确保正确的删除顺序和引用完整性。

于 2009-06-12T12:19:04.950 回答