问题
我该如何解决ConnectionError: Too many heartbeats missed来自芹菜的问题？
示例错误
[2013-02-11 15:15:38,513: ERROR/MainProcess] Error in timer: ConnectionError('Too many heartbeats missed', None, None, None, '')
Traceback (most recent call last):
File "/app/.heroku/python/lib/python2.7/site-packages/celery/utils/timer2.py", line 97, in apply_entry
entry()
File "/app/.heroku/python/lib/python2.7/site-packages/celery/utils/timer2.py", line 51, in __call__
return self.fun(*self.args, **self.kwargs)
File "/app/.heroku/python/lib/python2.7/site-packages/celery/utils/timer2.py", line 153, in _reschedules
return fun(*args, **kwargs)
File "/app/.heroku/python/lib/python2.7/site-packages/kombu/connection.py", line 265, in heartbeat_check
return self.transport.heartbeat_check(self.connection, rate=rate)
File "/app/.heroku/python/lib/python2.7/site-packages/kombu/transport/pyamqp.py", line 134, in heartbeat_check
return connection.heartbeat_tick(rate=rate)
File "/app/.heroku/python/lib/python2.7/site-packages/amqp/connection.py", line 837, in heartbeat_tick
raise ConnectionError('Too many heartbeats missed')
ConnectionError: Too many heartbeats missed
应用概览
- 使用 celery 进行定期后台任务的 Django 应用程序
- 托管在 Heroku 上
- 通过设置/celerybeat 计划每 15 分钟运行一次的单个任务
- 通过 CloudAMQP 插件处理消息
- 运行的进程
web: newrelic-admin run-program gunicorn --workers=2 --worker-class=gevent someapp.wsgi:applicationscheduler: newrelic-admin run-program python manage.py celery worker -B -E --maxtasksperchild=1000 --loglevel=WARNING
包版本
正是我认为相关的：
Django==1.4.3
amqp==1.0.8
billiard==2.7.3.20
celery==3.0.14
gevent==0.13.8
greenlet==0.4.0
kombu==2.5.6
raven==3.1.10
到目前为止我尝试过的
- 将错误与活动相关联（似乎与用户访问的应用程序、调用的后台任务、应用程序空闲无关）
- 谷歌搜索/搜索，直到我的手指麻木
- 将软件包升级到最新版本
- 各种级别的日志记录
- 使用 Sentry 捕获异常（不出现在哨兵中）
- 无法在开发环境下本地重现错误，仅在 Heroku 上的生产中
可能的相关信息
- 我不确定这个错误第一次出现的确切时间（〜一个月前？）
- 可能以某种方式与以下更改有关（在此之前不要回忆错误，虽然不是 100% 肯定）
celery==3.0.13至celery==3.0.14amqplib->amqpkombu==2.4.8至kombu==2.5.4
- 错误仅出现在日志中（不会被 New Relic 或 getsentry.com 发现）