celery - 如何在内存中加载对象并在 Celery worker 的不同执行中共享？

Question

我在 3 个集群机器上设置了 celery + rabbitmq。我还创建了一个任务，它根据文件中的数据生成正则表达式并使用该信息来解析文本。但是，我希望读取文件的过程只在每个工作人员生成时完成一次，而不是在每次执行 as 任务时完成。

from celery import Celery

celery = Celery('tasks', broker='amqp://localhost//')
import re

@celery.task
def add(x, y):
     return x + y


def get_regular_expression():
    with open("text") as fp:
        data = fp.readlines()
    str_re = "|".join([x.split()[2] for x in data ])
    return str_re    



@celery.task
def analyse_json(tw):
    str_re = get_regular_expression()
    re.match(str_re,tw.text) 

在上面的代码中，我想打开文件并将每个工作人员的输出读入字符串一次，然后任务 analyse_json 应该只使用字符串。

任何帮助将不胜感激，

谢谢，阿米特

Answer 1

将调用放在get_regular_expression模块级别：

str_re = get_regular_expression()

@celery.task
def analyse_json(tw):
    re.match(str_re, tw.text)

它只会在第一次导入模块时被调用一次。

此外，如果您一次只能运行一个工作程序实例（例如 CUDA），则必须使用 -P 独奏选项：

celery worker --pool solo

适用于芹菜 4.4.2。