31

我有两种类型的任务：异步任务和计划任务。所以，这是我的目录结构：

proj
  |
  -- tasks
      |
      -- __init__.py
      |
      -- celeryapp.py     => celery instance defined in this file.
      |
      -- celeryconfig.py
      |
      -- async
      |    |
      |    -- __init__.py
      |    |
      |    -- task1.py    => from proj.tasks.celeryapp import celery
      |    |
      |    -- task2.py    => from proj.tasks.celeryapp import celery
      |
      -- schedule
           |
           -- __init__.py
           |
           -- task1.py    => from proj.tasks.celeryapp import celery
           |
           -- task2.py    => from proj.tasks.celeryapp import celery

但是当我像下面这样运行 celery worker 时，它不起作用。它不能接受来自 celery beat scheduler 的任务。

 $ celery worker --app=tasks -Q my_queue,default_queue

那么，有没有关于多任务文件组织的最佳实践？

4

2 回答 2

11

根据 celery文档，您可以像这样导入 celery 任务的结构：

例如，如果您有一个（想象的）这样的目录树：

|
|-- foo
|    |-- __init__.py
|    |-- tasks.py
|
|-- bar
     |-- __init__.py
     |-- tasks.py

然后调用app.autodiscover_tasks(['foo', bar'])将导致模块 foo.tasks 和 bar.tasks 被导入。

于 2015-12-27T18:23:24.670 回答
4

Celery 任务可以是异步的、同步的或计划的，取决于它的调用

task.delay(arg1,arg2)       #will be async
task.delay(arg1,arg2).get() #will be sync
task.delay(arg1,arg2).get() #will be sync
task.apply_async(args = [arg1,arg2], {'countdown' : some_seconds}) #async with delay

根据您的需要有很多调用
但是，您必须使用 -B 标志启动 celery 以启用 celery 调度程序

$ celery worker --app=tasks -B -Q my_queue,default_queue

所以你组织任务的方式是个人的，它取决于你的项目复杂性，但我认为按同步类型组织它们并不是最好的选择。

我已经用谷歌搜索了这个主题，但没有找到任何指南或建议，但我已经阅读了一些通过功能组织任务的案例。
我遵循了这个建议，因为这不是我的项目中的模式。这是我如何做的一个例子

your_app
    |
    -- reports
        |
        -- __init__.py
        -- foo_report.py
        -- bar_report.py
        -- tasks
            |
            -- __init__.py
            -- report_task.py
    -- maintenance
        |
        -- __init__.py
        -- tasks
            |
            -- __init__.py
            -- delete_old_stuff_task.py
    -- twitter
        |
        -- __init__.py
        -- tasks
            |
            -- __init__.py
            -- batch_timeline.py
于 2014-07-24T07:24:50.310 回答