我正在尝试发送约 400 个 HTTP GET 请求并收集结果。我正在从 django 运行。我的解决方案是将 celery 与 gevent 一起使用。
要启动 celery 任务,我调用get_reports:
def get_reports(self, clients, *args, **kw):
sub_tasks = []
for client in clients:
s = self.get_report_task.s(self, client, *args, **kw).set(queue='io_bound')
sub_tasks.append(s)
res = celery.group(*sub_tasks)()
reports = res.get(timeout=30, interval=0.001)
return reports
@celery.task
def get_report_task(self, client, *args, **kw):
report = send_http_request(...)
return report
我使用 4 名工人:
manage celery worker -P gevent --concurrency=100 -n a0 -Q io_bound
manage celery worker -P gevent --concurrency=100 -n a1 -Q io_bound
manage celery worker -P gevent --concurrency=100 -n a2 -Q io_bound
manage celery worker -P gevent --concurrency=100 -n a3 -Q io_bound
我使用 RabbitMq 作为代理。
虽然它比按顺序运行请求快得多(400 个请求大约需要 23 秒),但我注意到大部分时间都是 celery 本身的开销,即如果我像这样更改get_report_task:
@celery.task
def get_report_task(self, client, *args, **kw):
return []
整个操作耗时约 19 秒。这意味着我只花了 19 秒将所有任务发送到 celery 并返回结果
到rabbit mq的消息排队率似乎绑定到28条消息/秒,我认为这是我的瓶颈。
如果这很重要,我正在一台win 8机器上运行。
我尝试过的一些事情:
- 使用 redis 作为代理
- 使用 redis 作为结果后端
使用这些设置进行调整
BROKER_POOL_LIMIT = 500
CELERYD_PREFETCH_MULTIPLIER = 0
CELERYD_MAX_TASKS_PER_CHILD = 100
CELERY_ACKS_LATE = 假
CELERY_DISABLE_RATE_LIMITS = 真
我正在寻找任何有助于加快速度的建议。