18

我正在为我的 API 使用 Django REST 框架，昨天我想看看它是如何处理大数据的。我找到了关于如何分析您的请求的教程（由 Tom Christie 撰写），我发现对于 10.000 个用户，我的请求花费了惊人的 2:20 分钟。

大部分时间都花在序列化对象上（大约 65%）所以我想知道我能做些什么来加快速度？

我的用户模型实际上是在扩展默认的 django 模型，所以使用.values()不起作用，因为我也没有得到嵌套模型（即使它快了很多）。

任何帮助将不胜感激 ：）

编辑

在检索我的查询集时，我已经在使用 .select_related() 了，它缩短了我的时间，但只有几秒钟。总查询数为 10，所以我的问题不在于数据库访问。

另外，我正在使用 .defer()，以避免在此请求中不需要的字段。这也提供了一个小的改进，但还不够。

编辑#2

Models

from django.contrib.auth.models import User
from django.db.models import OneToOneField
from django.db.models import ForeignKey

from userena.models import UserenaLanguageBaseProfile
from django_extensions.db.fields import CreationDateTimeField
from django_extensions.db.fields import ModificationDateTimeField

from mycompany.models import MyCompany


class UserProfile(UserenaLanguageBaseProfile):
    user = OneToOneField(User, related_name='user_profile')
    company = ForeignKey(MyCompany)
    created = CreationDateTimeField(_('created'))
    modified = ModificationDateTimeField(_('modified'))

Serializers

from django.contrib.auth.models import User

from rest_framework import serializers

from accounts.models import UserProfile


class UserSerializer(serializers.ModelSerializer):
    last_login = serializers.ReadOnlyField()
    date_joined = serializers.ReadOnlyField()
    is_active = serializers.ReadOnlyField()

    class Meta:
        model = User
        fields = (
            'id',
            'last_login',
            'username',
            'first_name',
            'last_name',
            'email',
            'is_active',
            'date_joined',
        )


class UserProfileSerializer(serializers.ModelSerializer):
    user = UserSerializer()

    class Meta:
        model = UserProfile
        fields = (
            'id',
            'user',
            'mugshot',
            'language',
        )

Views

class UserProfileList(generics.GenericAPIView,
                      mixins.ListModelMixin,
                      mixins.CreateModelMixin):

    serializer_class = UserProfileSerializer
    permission_classes = (UserPermissions, )

    def get_queryset(self):
        company = self.request.user.user_profile.company
        return UserProfile.objects.select_related().filter(company=company)

    @etag(etag_func=UserListKeyConstructor())
    def get(self, request, *args, **kwargs):
        return self.list(request, *args, **kwargs)
4

3 回答 3

12

几乎总是性能问题来自 N+1 个查询。这通常是因为您正在引用相关模型，并且每个对象的每个关系都会生成一个查询来获取信息。您可以通过在您的方法中使用.select_relatedand来改进这一点，如我的其他 Stack Overflow 答案中所述。.prefetch_relatedget_queryset

Django 提供的关于数据库优化的相同技巧也适用于 Django REST 框架，因此我建议您也研究一下。

您在序列化过程中看到性能问题的原因是 Django 对数据库进行查询。

于 2015-03-12T18:07:17.867 回答
8

ModelSerializers 很慢，你自己说的。以下是有关它发生的原因以及如何加快速度的更多信息：https ://hakibenita.com/django-rest-framework-slow

  • 在性能关键端点中，使用“常规”序列化程序，或者根本不使用。
  • 不用于写入或验证的序列化器字段应该是只读的。
于 2021-02-05T06:48:43.610 回答
8

我知道这已经过时了，你可能已经解决了你的问题......但是对于其他任何进入这篇文章的人......

问题是你在做盲人

select_related()

没有参数，这对您的查询绝对没有任何作用。你真正需要做的是

prefetch_related('user_profile')

在不深入细节的情况下，select_related用于“to one”关系，prefetch_related用于“to many”关系。在您的情况下，您使用的是“对多”查询 的反向关系。

您的另一个问题是您没有正确使用反向关系。将序列化程序中的 get_queryset() 更改为此，我认为您将拥有所需的内容：

def get_queryset(self):
    return UserProfile.objects.prefetch_related('user_profile').all()
于 2016-12-07T18:47:35.547 回答