18

有一些用于 django 分页的代码示例，我使用了一段时间。我可能错了，但是在查看代码时，它看起来会浪费大量内存。我一直在寻找更好的解决方案，这里是代码：

# in views.py
from django.core.paginator import Paginator, EmptyPage, PageNotAnInteger

... 
...    

def someView():
    models = Model.objects.order_by('-timestamp')
    paginator = Paginator(models, 7)
    pageNumber = request.GET.get('page')

    try: 
        paginatedPage = paginator.page(pageNumber)
    except PageNotAnInteger: 
        pageNumber = 1
    except EmptyPage: 
        pageNumber = paginator.num_pages
    models = paginator.page(pageNumber)

    return render_to_resp ( ..... models ....)

我不确定这段代码的细节，但从它的外观来看，第一行代码从数据库中检索每个模型并将其推入。然后它被传递给 Paginator，它根据用户在 html GET 中所在的页面将其分块。分页器是否以某种方式使其可以接受，或者这完全是内存效率低下的？如果效率低下，如何改进？

还有一个相关的话题。如果有人这样做：

   Model.objects.all()[:40]

这段代码是否意味着所有模型都被推入内存，我们拼接出其中的 40 个？哪个不好。或者这是否意味着我们只查询并将 40 个对象推送到内存期？

谢谢您的帮助！

4

3 回答 3

27

mymodel.objects.all()产生一个查询集，而不是一个列表。查询集是惰性的——在你真正尝试使用它们之前，不会发出任何请求，也不会做任何事情。此外，对查询集进行切片不会将整个该死的东西加载到内存中，只是为了获取一个子集，而是在访问数据库之前为 SQL 查询添加限制和偏移量。

于 2013-04-23T07:11:25.760 回答
1

使用分页器时没有什么内存效率低下的。查询集是惰性求值的。在您的通话Paginator(models, 7)中，models是一个到目前为止尚未评估的查询集。所以，到目前为止，数据库还没有被击中。此时内存中也没有包含所有模型实例的列表。

当你想得到一个页面时paginatedPage = paginator.page(pageNumber)，在这个查询集上进行切片，只有在这个时候数据库被命中并且数据库返回一个包含模型实例的查询集。然后切片只返回页面上应该存在的对象。因此，只有切片的对象会进入内存中的列表。假设在一页上显示 10 个对象，只有这 10 个对象会留在内存中。

当有人这样做时；

Model.objects.all()[:40]

对列表进行切片时，会创建一个新列表。在您的情况下，将创建一个仅包含 40 个元素的列表，并将存储在内存中的某个位置。不会有其他列表，因此不会有任何列表包含Model内存中的所有实例。

于 2013-04-23T05:58:27.373 回答
0

使用上面的信息我想出了一个视图函数装饰器。json_list_objects 将 djanog 对象转换为 django 对象的已知关系字段的 json-ready python dicts，并将 jsonified 列表作为 {count: results: } 返回。

其他人可能会发现它很有用。

def with_paging(fn):
  """
  Decorator providing paging behavior.  It is for decorating a function that 
  takes a request and other arguments and returns the appropriate query
  doing select and filter operations.  The decorator adds paging by examining
  the QueryParams of the request for page_size (default 2000) and 
  page_num (default 0).  The query supplied is used to return the appropriate
  slice. 
  """
  @wraps(fn)
  def inner(request, *args, **kwargs):
    page_size = int(request.GET.get('page_size', 2000))
    page_num = int(request.GET.get('page_num', 0))
    query = fn(request, *args, **kwargs)
    start = page_num * page_size
    end = start + page_size
    data = query[start:end]
    total_size = query.count()
    return json_list_objects(data, overall_count=total_size)
  return inner
于 2017-06-21T22:44:22.407 回答