我正在尝试通过 task_postrun 信号中的 raisin SystemExit() 关闭主要的 celery 进程。信号被很好地触发,异常被引发,但工作人员永远不会完全退出,只是挂在那里。
我该怎么做?
我在某处忘记了一些设置吗?
下面是我用于工作人员的代码(worker.py):
from celery import Celery
from celery import signals
app = Celery('tasks',
set_as_current = True,
broker='amqp://guest@localhost//',
backend="mongodb://localhost//",
)
app.config_from_object({
"CELERYD_MAX_TASKS_PER_CHILD": 1,
"CELERYD_POOL": "solo",
"CELERY_SEND_EVENTS": True,
"CELERYD_CONCURRENCY": 1,
"CELERYD_PREFETCH_MULTIPLIER": 1,
})
def shutdown_worker(**kwargs):
print("SHUTTING DOWN WORKER (RAISING SystemExit)")
raise SystemExit()
import tasks
signals.task_postrun.connect(shutdown_worker)
print("STARTING WORKER")
app.worker_main()
print("WORKER EXITED!")
以下是tasks.py的代码:
from celery import Celery,task
from celery.signals import task_postrun
import time
from celery.task import Task
class Blah(Task):
track_started = True
acks_late = False
def run(config, kwargs):
time.sleep(5)
return "SUCCESS FROM BLAH"
def get_app():
celery = Celery('tasks',
broker='amqp://guest@localhost//',
backend="mongodb://localhost//"
)
return celery
为了测试这一点,我做的第一件事是运行工作代码 ( python worker.py
),然后我将一个任务排队,如下所示:
>>> import tasks
>>> results = []
>>> results.append(tasks.Blah.delay({}))
我从工人那里看到的输出是这样的:
STARTING WORKER
-------------- celery@hostname v3.0.9 (Chiastic Slide)
---- **** -----
--- * *** * -- [Configuration]
-- * - **** --- . broker: amqp://guest@localhost:5672//
- ** ---------- . app: tasks:0x26f3050
- ** ---------- . concurrency: 1 (solo)
- ** ---------- . events: ON
- ** ----------
- *** --- * --- [Queues]
-- ******* ---- . celery: exchange:celery(direct) binding:celery
--- ***** -----
[2012-11-06 15:59:16,761: WARNING/MainProcess] celery@hostname has started.
[2012-11-06 15:59:21,785: WARNING/MainProcess] SHUTTING DOWN WORKER (RAISING SystemExit)
我期待python代码从调用返回app.worker_main()
然后打印WORKER EXITED
,然后进程完全退出。这永远不会发生,并且必须编辑工作进程才能kill -KILL {PID}
让它消失(它也不能使用任何其他任务。
我想我的主要问题是:
我如何使代码返回app.worker_main()
?
我希望能够在执行多个任务后完全重新启动工作进程(通过让进程完全退出) 。X
更新我弄清楚了工作人员在做什么 - 工作人员 (在捕获异常WorkController
正在等待调用self.stop
SystemExit