15

我真的很喜欢使用暴发户。我目前有新贵的工作来在许多 virtualenvs 中运行不同的 gunicorn 实例。但是，我在互联网上为 Celery upstart 脚本找到的 2-3 个示例对我不起作用。

因此，使用以下变量，我将如何编写一个 Upstart 作业以在 virtualenv 中运行 django-celery。

Django项目的路径：

/srv/projects/django_project

该项目的 virtualenv 的路径：

/srv/environments/django_project

celery 设置的路径是 Django 项目设置文件（django-celery）：

/srv/projects/django_project/settings.py

此 Celery 实例的日志文件的路径：

/srv/logs/celery.log

对于这个虚拟环境，用户：

iamtheuser

和小组：

www-data

我想用 celerybeat 运行 Celery Daemon，所以，我想传递给 django-admin.py（或 manage.py）的命令是：

python manage.py celeryd -B

如果脚本在 gunicorn 作业开始后启动，并在 gunicorn 作业停止时停止，那就更好了。假设该文件是：

/etc/init/gunicorn.conf
4

2 回答 2

16

您可能需要添加更多配置，但这是我为在 virtualenv 中以特定用户身份启动 django-celery 编写的一个新贵脚本：

start on started mysql
stop on stopping mysql

exec su -s /bin/sh -c 'exec "$0" "$@"' user -- /home/user/project/venv/bin/python /home/user/project/django_project/manage.py celeryd

respawn

这对我很有效。

我知道它看起来很难看，但它似乎是当前作为非特权用户运行新贵作业的“正确”技术，基于这个超级用户的回答。

我认为我必须做更多工作才能让它在 virtualenv 中工作，但是在 virtualenv 中调用 python 二进制文件就足够了。

于 2012-04-20T17:51:10.433 回答
3

这是我使用在 Ubuntu 16.04 LTS 上运行的较新 systemd 的工作配置。芹菜在一个虚拟环境中。应用程序是 Python/Flask。

系统文件：/etc/systemd/system/celery.service

您需要更改用户和路径。

[Unit]
Description=Celery Service
After=network.target

[Service]
Type=forking
User=nick
Group=nick
EnvironmentFile=-/home/nick/myapp/server_configs/celery_env.conf
WorkingDirectory=/home/nick/myapp
ExecStart=/bin/sh -c '${CELERY_BIN} multi start ${CELERYD_NODES} \
  -A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
  --logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'
ExecStop=/bin/sh -c '${CELERY_BIN} multi stopwait ${CELERYD_NODES} \
  --pidfile=${CELERYD_PID_FILE}'
ExecReload=/bin/sh -c '${CELERY_BIN} multi restart ${CELERYD_NODES} \
  -A ${CELERY_APP} --pidfile=${CELERYD_PID_FILE} \
  --logfile=${CELERYD_LOG_FILE} --loglevel=${CELERYD_LOG_LEVEL} ${CELERYD_OPTS}'

[Install]
WantedBy=multi-user.target

环境文件（上面引用）：/home/nick/myapp/server_configs/celery_env.conf

# Name of nodes to start
# here we have a single node
CELERYD_NODES="w1"
# or we could have three nodes:
#CELERYD_NODES="w1 w2 w3"

# Absolute or relative path to the 'celery' command:
CELERY_BIN="/home/nick/myapp/venv/bin/celery"

# App instance to use
CELERY_APP="myapp.tasks"

# How to call manage.py
CELERYD_MULTI="multi"

# Extra command-line arguments to the worker
CELERYD_OPTS="--time-limit=300 --concurrency=8"

# - %n will be replaced with the first part of the nodename.
# - %I will be replaced with the current child process index
#   and is important when using the prefork pool to avoid race conditions.
CELERYD_PID_FILE="/var/run/celery/%n.pid"
CELERYD_LOG_FILE="/var/log/celery/%n%I.log"
CELERYD_LOG_LEVEL="INFO"

要为您的用户自动创建具有正确权限的日志和运行文件夹，请在/usr/lib/tmpfiles.d. 我/var/run/celery在重新启动时删除了文件夹，然后 celery 无法正常启动。

我的/usr/lib/tmpfiles.d/celery.conf文件：

d /var/log/celery 2775 nick nick -
d /var/run/celery 2775 nick nick -

启用：sudo systemctl enable celery.service

现在您需要重新启动系统才能创建/var/log/celery和文件夹。/var/run/celery您可以通过检查登录来检查 celery 是否在重新启动后启动/var/log/celery。

要重新启动 celery：sudo systemctl restart celery.service 调试：tail -f /var/log/syslog并尝试重新启动 celery 以查看错误是什么。它可能与后端或其他事物有关。

希望这可以帮助！

于 2018-03-05T08:46:00.003 回答