6

我们在 Heroku 上使用 django-celery 运行了一个简单的任务。就像是：

@task
Simple_task():
    for line in csv.reader(origin):
        process_line(line)

process_line(line):
    fields = parse_line(line)
    reg = Model1() # Django model
    reg.field1 = fields[0]
    reg.field2 = fields[1]
    reg.field3 = fields[2]
    reg.save()

其中origin是一个 csv 文件。当文件很大时（超过 50.000 行），任务会占用所有内存，导致 R14 错误，直到被系统取消（在 512 MB 可用内存的 150% 处）。内存永远不会释放，我们必须手动重新启动任务。

在 Linux 机器上运行或在开发机器上与工头一起运行，它可以毫无问题地完成（全部 170.000 行）。它似乎只在 Heroku 上泄漏内存。顺便说一句，我们使用 DEBUG=False 运行。

Heroku 执行 celery 任务是否有问题？有什么我们可以缺少的吗？这已成为在 Heroku 上部署的阻碍。

任何帮助将不胜感激。

4

2 回答 2

0

我同意 JoshB 的观点，在你的情况下它似乎需要超过 512MB 的内存。

  • 如果您创建任务process_line并创建它们的队列而不是任务来处理整个文件怎么办。在这种情况下，您在 Heroku 上的内存不会超载。

  • 另一个可能的解决方案是 Heroku 的新服务，您可以在测功机上使用 1GB RAM。链接： 2x dynos beta

于 2013-07-12T08:47:53.283 回答
0

DEBUGDjango 会在设置True为时泄漏内存，因为它会保存已执行的每个 SQL 语句的副本。

您可以使用与您的主机具有相同规格的虚拟机进行本地测试。或者使用ulimit来限制进程内存。通过这种方式，您可以检查本地代码是否仅适用于 512MB 的 RAM。

于 2013-08-30T16:21:48.387 回答