8

我在 Heroku 上有一个 Django 应用程序，它使用 Celery 的延迟方法调用任务，它应该将额外的处理传递给工作人员。但是当我向相应的视图发出 http 请求时，Heroku web dyno 挂起并最终导致请求超时。这是一个测试任务（该应用程序称为等待时间）：

@task
def test_tasks(message, name='waittimes.tasks.test_tasks'):
    print message

和测试视图：

class TaskTest(View):
    def get(self, request):
        print "about to call the task"
        test_tasks.delay("the task was successful!")
        return HttpResponse("view was successful")

如果我向该视图发出 http 请求，我希望“任务成功”会输出到控制台，并会返回“视图成功”的响应。当我向计算机上的开发服务器发出请求时，这会成功发生。如果我在我的应用程序的 Heroku 环境中启动一个 django shell 并使用 django 的测试客户端发出请求，它也可以工作。

app[celeryd.1]: [2013-06-26 23:57:48,018: INFO/MainProcess] Got task from broker: waittimes.tasks.test_tasks[67036069-b49e-45ba-aef4-3c64d7161a67]
app[celeryd.1]: [2013-06-26 23:57:48,133: WARNING/PoolWorker-3] the task was successful!
app[celeryd.1]: [2013-06-26 23:57:48,200: INFO/MainProcess] Task waittimes.tasks.test_tasks[67036069-b49e-45ba-aef4-3c64d7161a67] succeeded in 0.09690284729s: None

但是当我直接向 Heroku url 发出请求时，请求挂起，我最终从 Heroku 收到了一个可怕的 H12 超时错误。

heroku[router]: at=error code=H12 desc="Request timeout" method=GET path=/task/test/ dyno=web.1 connect=2ms service=30000ms status=503 bytes=0

我知道调用任务会导致问题，因为“即将调用任务”确实会打印在控制台中。所以问题是系统无法解决“延迟”（和apply_async）方法。它只是挂起并且不返回异步对象。这只发生在代码在 web dyno 进程上运行时。

到目前为止，这些是我的结论：

1) 任务已正确注册并且我的 Redis 代理正在工作，因为当我从 shell 使用测试客户端调用视图时一切正常（但是这是在 Heroku 上的单独 shell 进程上运行，而不是在通常接收请求的 web dyno 上运行)

2) 系统正确路由和分派请求的处理程序，因为“即将调用任务”被打印出来。Heroku路由器似乎没有问题。

3）问题与特定视图无关，因为即使是这样的精简测试用例也不起作用

除了直接的解决方案之外，还感谢任何有关如何进一步调试的建议。

4

1 回答 1

2

好吧，这可能不是一个直接的答案，但考虑到这个问题的年龄以及它在无人看管的情况下持续了多长时间，我将继续为其他不幸遇到这个问题的人提供我的见解。

这个特殊的问题似乎记录得很差，而且很难搜索，我只是在云雀上在 Heroku 上建立一个附带项目时遇到了它。

Heroku 似乎有一些地方性，其中某些 Python 函数调用在平台上的行为与本地（或任何正常的 Python 部署）不同。

就我而言，这里的问题是我的 Celery 任务正在调用 Python 的time.sleep()函数。

作为一个测试用例，我time.sleep(1)只是用来在日志中证明该任务确实是异步执行的。我已经在正常的基础架构（包括虚拟机）上成功运行了很多次这个测试。

当我将此测试移植到 Heroku 时，我遇到了与 gentro 完全相同的问题。日志清楚地表明 Celery 和我的代理已正常初始化，并且知道我的应用程序，但是，当我通过 Django 视图进行调用时，我的 web dyno 会神秘地超时，H12 作为唯一的日志消息。

当我注释掉sleep通话时，一切正常。

TL;DR - 检查导致 celery 任务的调用堆栈，确保没有留下任何可能导致 Heroku dyno 卡住的函数，例如sleep()

我并不是说这具体是导致原始提问者问题的原因，但如果您看到这种行为，这绝对是潜在的原因之一。

于 2019-01-25T19:11:31.423 回答