5

SQlite，Android，真实故事。我有一个表，我将其用作缓存：

CREATE TABLE cache(key TEXT, ts TIMESTAMP, size INTEGER, data BLOB);
CREATE UNIQUE INDEX by_key ON cache(key);
CREATE INDEX by_ts ON cache(ts);

在应用程序生命周期中，我填充了缓存，并且在某些时候我想清除它并删除N记录。通常，此表将包含 ~25000 个 ~100-500Kb 的 blob，数据库中的总 blob 大小为 600-800Mb，但现在我测试 ~2000 个约为 60Mb（以下数字适用于这种情况）。Clear 删除 90% 的缓存条目。

我尝试了不同的方法来做到这一点，这里简要说明：

[1]最糟糕和最简单的。首先选择，而不是一一删除，行走光标。非常慢。

[2]让 SQLite 通过查询来完成（删除其中包含全部N字节的 blob）：

DELETE FROM blobs WHERE
  ROWID IN (SELECT ROWID FROM blobs WHERE 
             (SELECT SUM(size) FROM blobs AS _ WHERE ts <= blobs.ts) <= N);

这更快，但仍然非常慢：~15 秒。似乎它也具有二次复杂性。

[3]选择要删除的行（使用平均 blob 大小进行计算）并使用简单WHERE子句删除：

-- Find row after which to delete, let it's time stamp is T0:
SELECT ts FROM cache ORDER BY ts LIMIT 1 OFFSET count;
-- Delete
DELETE FROM cache WHERE ts < T0;

这要好得多，但需要约 7 秒。

[4]创建新表，复制我需要保存并删除旧表。请注意，在复制所有这些内容之后，我在新表中创建了索引：

  -- Insert only rows I want leave
  INSERT INTO temp(key, ts, size, data) SELECT key, ts, size, data 
    FROM cache ORDER BY ts LIMIT count;
  -- Drop table and indices.
  DROP INDEX by_key;
  DROP INDEX by_ts;
  DROP TABLE cache;
  -- Rename temp table and create indices...

对于 6Mb 的 blob，复制需要大约 300 毫秒。但是DROP TABLE大约是 8 秒。

请注意，在所有情况下，我都VACUUM需要大约 1 秒。我怎样才能使它快速？为什么DROP TABLE和删除这么慢？我认为这可能是因为索引：当我在DELETE它工作得更快之前删除了关键索引。如何让 SQLite 快速删除？

4

3 回答 3

3

显然，缓慢的不是找到要删除的记录，而是实际删除本身。

检查是否在您的 Android 的 SQLite 中默认设置了PRAGMA secure_delete 。你应该禁用它，只是为了确定。

你不需要运行VACUUM；SQLite 自动重用已释放的页面。VACUUM仅当您确实知道数据库将来不会再次增长时才需要。

于 2013-10-23T08:10:48.593 回答
3

您正在处理具有“大”数据的数据库 - 即，每个 blob 使用多个页面。

在接近最佳性能的某个时刻，您将达到无法改进的极限。

检查你所有的选择，我看到不同的行为，而不仅仅是不同的算法。

[1] 只要您使用事务，这应该不会太慢。您一次需要两个操作，查询（获取 blob 大小）和删除。

[2] 这是一个很好的方法。由于两个查询和一个删除，都在一个命令中，所以 SQLite 引擎会优化。

[3] 这是与以往不同的行为。与 相同DELETE FROM cache WHERE ts < (SELECT ts FROM cache ORDER BY ts LIMIT 1 OFFSET count)。查询比以前便宜，但我敢打赌，删除的行数远少于前一个！查询/删除的昂贵部分将被删除！查询优化很重要，但删除总是会变慢。

[4] 这是一个非常糟糕的方法！！！将所有数据复制到新表（可能是另一个数据库）将非常昂贵。我从中只得到一个好处：您可以将数据复制到新数据库并避免VACUUM，因为新数据库是从基础构建的并且它很干净。

关于VACUUM... 最糟糕DELETE的是VACUUM。真空不应该在数据库中经常使用。我知道这个算法应该“清理”你的数据库，但清理不应该是一个频繁的操作——数据库针对选择/插入/删除/更新进行了优化——而不是将所有数据保持在最小大小。

我的选择是DELETE ... IN (SELECT ...)根据预定义的标准使用单个操作。VACUUM不会使用，至少不会经常使用。一个不错的选择是监控数据库大小 - 当这个大小超过限制时，运行假设的昂贵清理来修剪数据库。

最后，在使用多个命令时，永远不要忘记使用事务！

于 2013-10-23T08:05:13.357 回答
-1

您有两种选择来提高性能，尤其是第一种：

1）像这样使用事务：

DbTransaction trans = conn.BeginTransaction(); // <-------------------
try 
{
   Any code to delete the items
}
catch
{
    trans.Rollback(); // <-------------------
    throw; // <-------------------
}

2) 否则，假设项目是连续的，那么

  • a) 获取第一项的ID；

  • b) 获取要删除的项目总数

  • c）使用这样的命令：

    DELETE FROM blobs WHERE ID > fistId LIMIT count;

祝你好运。

于 2013-10-23T05:24:36.240 回答