36

我正在使用这个文件存储引擎在上传文件时将文件存储到 Amazon S3：

http://code.welldev.org/django-storages/wiki/Home

上传需要相当长的时间，因为文件必须先从客户端上传到 Web 服务器，然后再将 Web 服务器上传到 Amazon S3，然后才会向客户端返回响应。

我想让将文件发送到 S3 的过程异步，这样可以更快地将响应返回给用户。使用文件存储引擎执行此操作的最佳方法是什么？

谢谢你的建议！

4

7 回答 7

24

我对这个问题采取了另一种方法。

我的模型有 2 个文件字段，一个使用标准文件存储后端，另一个使用 s3 文件存储后端。当用户上传文件时，它会存储在本地。

我的应用程序中有一个管理命令，它将所有本地存储的文件上传到 s3 并更新模型。

因此，当请求文件时，我检查模型对象是否使用 s3 存储字段，如果是，我将重定向发送到 s3 上的正确 url，如果不是，我发送重定向，以便 nginx 可以从磁盘提供文件.

这个管理命令当然可以由 cronjob 或其他任何事件触发。

于 2009-03-22T16:35:38.210 回答
22

可以让您的用户使用特殊表单（在隐藏字段中带有加密的策略文档）从浏览器直接将文件上传到 S3。上传完成后，它们将被重定向回您的应用程序。

更多信息在这里： http: //developer.amazonwebservices.com/connect/entry.jspa ?externalID=1434

于 2009-05-11T14:01:49.737 回答
18

有一个应用程序:-)

https://github.com/jezdez/django-queued-storage

它完全满足您的需求 - 甚至更多，因为您可以设置任何“本地”存储和任何“远程”存储。此应用程序会将您的文件存储在快速的“本地”存储（例如 MogileFS 存储）中，然后使用Celery (django-celery)，将尝试异步上传到“远程”存储。

几点说明：

  1. 棘手的是 - 您可以将其设置为复制和上传，或上传和删除策略，一旦上传就会删除本地文件。

  2. 第二个棘手的事情 - 它将从“本地”存储中提供文件，直到它没有被上传。

  3. 它还可以配置为在上传失败时进行重试次数。

安装和使用也非常简单明了：

pip install django-queued-storage

附加到INSTALLED_APPS：

INSTALLED_APPS += ('queued_storage',)

在models.py：

from queued_storage.backends import QueuedStorage
queued_s3storage = QueuedStorage(
    'django.core.files.storage.FileSystemStorage',
    'storages.backends.s3boto.S3BotoStorage', task='queued_storage.tasks.TransferAndDelete')

class MyModel(models.Model):
    my_file = models.FileField(upload_to='files', storage=queued_s3storage)
于 2012-03-21T06:18:09.447 回答
6

你可以解耦这个过程：

  • 用户选择要上传的文件并将其发送到您的服务器。在此之后，他看到一个页面“感谢您上传 foofile.txt，它现在存储在我们的存储后端”
  • 当用户上传文件时，它会存储在您的服务器上的临时目录中，如果需要，一些元数据会存储在您的数据库中。
  • 然后，您服务器上的后台进程将文件上传到 S3。这只有在您拥有对服务器的完全访问权限时才有可能，这样您就可以为此创建某种“守护程序”（或简单地使用 cronjob）。*
  • 显示的页面异步轮询并向用户显示某种进度条（或简单的“请等待”消息。仅当用户应该能够“使用”（将其放入消息中，或类似的东西）上传后直接。

[*：如果您只有一个共享主机，您可以构建一些解决方案，在用户浏览器中使用隐藏的 iframe 来启动脚本，然后将文件上传到 S3]

于 2009-03-22T14:01:38.783 回答
3

您可以直接将媒体上传到 s3 服务器，而无需使用 Web 应用程序服务器。

请参阅以下参考资料：

亚马逊 API 参考：http ://docs.amazonwebservices.com/AmazonS3/latest/dev/index.html?UsingHTTPPOST.html

一个 django 实现：https ://github.com/sbc/django-uploadify-s3

于 2011-04-16T03:11:57.253 回答
0

我在上传图片时遇到了同样的问题。您不能将文件传递给 Celery 工作人员，因为 Celery 需要能够腌制任务的参数。我的解决方案是将图像数据解构为一个字符串并从文件中获取所有其他信息，将这些数据和信息传递给我重建图像的任务。之后，您可以保存它，它会将其发送到您的存储后端（例如 S3）。如果要将图像与模型相关联，只需将实例的 id 传递给任务并在那里检索它，将图像绑定到实例并保存实例。

当文件通过表单上传时，它在您的视图中作为 UploadedFile 类文件对象可用。您可以直接从 request.FILES 中获取它，或者最好先将其绑定到您的表单，运行 is_valid 并从 form.cleaned_data 检索类似文件的对象。在这一点上，至少你知道它是你想要的那种文件。之后，您可以使用 read() 获取数据，并使用其他方法/属性获取其他信息。见https://docs.djangoproject.com/en/1.4/topics/http/file-uploads/

实际上，我最终编写并分发了一个小包来异步保存图像。看看https://github.com/gterzian/django_async是的，它只是用于图像，你可以分叉它并为你的情况添加功能。我将它与https://github.com/duointeractive/django-athumb和 S3一起使用

于 2013-02-12T10:50:19.930 回答
0

由于这里的一些答案建议直接上传到 S3，这里有一个使用 plupload 的 Django S3 Mixin： https ://github.com/burgalon/plupload-s3mixin

于 2011-09-05T08:28:12.970 回答