1

基本上我想为每个主机获取最新的 30 个日志条目。目前我正在 django-piston 中执行此操作。

def read(self,request):
    val={}
    for x in Host.objects.all():
        val[x.uuid_id]=DataLog.objects.filter(host=x).order_by('-time')[:30]           
    return val

不幸的是，这个请求需要很长时间（目前大约 10k 数据库条目需要 1 秒）。有没有更有效的方法来做到这一点？

哈珀

4

1 回答 1

3

如果您使用 PostgreSQL 作为数据库后端并且不需要跨数据库兼容性，您可以使用强大的窗口函数来实现类似的功能：

想象一下你的桌子是这样的：

CREATE TABLE x (
    i serial primary key,
    value integer not null,
    date timestamp,
    category text);

您需要每个类别的最新值。你会去做的 ：

SELECT
    first_value(i) over w,
    first_value(value) over w,
    first_value(date) over w
    category,
FROM x
WINDOW w AS (PARTITION BY category ORDER BY date DESC);

raw您可以通过查询集管理器上的方法在 django 中使用这样的查询：

ModelX.objects.raw("""SELECT DISTINCT ....... FROM x WINDOW w .....""")

要按类别获取最后 N 个条目，查询稍微复杂一些，并涉及一个子查询：

SELECT i, value, date, category
FROM (SELECT
        i, value, date, category,
        row_number() over w
    FROM x
    WINDOW w AS (PARTITION BY category ORDER BY date DESC)) AS subquery
WHERE subquery.row_number <= 30;

看到这一点，你甚至可以做一个视图：

CREATE VIEW x_with_reverse_date_index AS
    (SELECT
        i, value, date, category,
        row_number() over w
    FROM x
    WINDOW w AS (PARTITION BY category ORDER BY date DESC));

并创建一个查询此视图的 django 模型：

class ModelX(models.Model):
    ...
    ...
    row_number = models.IntegerField("Row number when ordering by date desc")

    class Meta:
        db_table = 'x_with_reverse_date_index'

并“正常”查询它：

ModelX.objects.filter(category__in = ('catA','catB'), row_number__lte = 30)
ModelX.objects.filter(row_number = 29)
...

警告：同样，如果您需要在另一个数据库引擎上工作的代码，请不要这样做。

于 2012-05-22T08:52:53.183 回答