4

我在我的 Django 应用程序中使用包中的S3Boto3Storage存储后端。django-storages我使用后端处理 S3 中的大量文件。

从存储中读取文件时，后端会单独发出HEAD请求GET。我多次执行此操作，因此如果可能，我希望跳过HEAD请求。

我的读取操作与此类似：

class MyModel(models.Model):
    img = FileField()

instance = MyModel.objects.filter().first()
instance.img.read()

我正在使用默认preload_metadata标志，即False.

是否有其他设置可以控制读取方法的这种行为？

我的猜测是HEAD请求在获取文件内容之前检查文件是否存在。所以也许HEAD调用可以用 try/except 语句代替。但我不知道该怎么做。

4

1 回答 1

0

注意：以下解决方案不适用于生产，如果在您的代码中看到这一点，您的领导会惩罚您:)

我的软件包版本很旧：
django-storages==1.1.8
boto==2.38.0
boto3==1.2.1
但主要思想（我希望）会被理解

在您的应用程序的某个“开始”级别（根据您的喜好）放置以下补丁（或者如果您愿意 - 可以扩展类）。

from storages.backends import s3boto


def monkey_init(self, name, mode, storage, buffer_size=None):
    """Only 'validate=mode != "rb"' was added in 'get_key' method's call"""
    self._storage = storage
    self.name = name[len(self._storage.location):].lstrip('/')
    self._mode = mode
    self.key = storage.bucket.get_key(self._storage._encode_name(name),
                                      validate=mode != "rb")
    if not self.key and 'w' in mode:
        self.key = storage.bucket.new_key(storage._encode_name(name))
    self._is_dirty = False
    self._file = None
    self._multipart = None
    # for files larger than this.
    if buffer_size is not None:
        self.buffer_size = buffer_size
    self._write_counter = 0


s3boto.S3BotoStorageFile.__init__ = monkey_init

在我django-storages的方法调用版本中，get_key不会将validate变量传递给它。除了明确重新定义方法外，我没有找到任何强制/更改它的__init__方法。

PS：如果您的设置boto在日志记录中不包含显式部分-> GET/HEAD/等将不会显示日志。博托的要求。只需将boto部分添加到日志记录设置部分。

'boto': {
    'handlers': LOGGING_HANDLERS,
    'level': 'DEBUG',
    'propagate': False,
},
于 2019-07-22T21:35:20.713 回答