1

我在 django 中进行长时间计算时遇到了麻烦。由于我公司的白痴，我无法安装 Celery，所以我必须“重新发明轮子”。
我正在尝试在 TaskQueue 类中进行所有计算，该类将所有计算存储在字典“结果”中。另外，我正在尝试制作“请稍候”页面，该页面将询问此任务队列是否已准备好提供密钥的任务。
问题是结果不知何故消失了。
我对长时间的计算有一些看法。

def some_view(request):
    ...
    uuid = task_queue.add_task(method_name, params) #method_name(params) returns HttpResponse
    return redirect('/please_wait/?uuid={0}'.format(uuid))

请等待视图：

def please_wait(request):
    uuid = request.GET.get('uuid','0')
    ready = task_queue.task_ready(uuid)
    if ready:
        return task_queue.task_result(uuid)
    elif ready == None:
        return render_to_response('admin/please_wait.html',{'not_found':True})
    else:
        return render_to_response('admin/please_wait.html',{'not_found':False})

最后一个代码，我的任务队列：

class TaskQueue:
    def __init__(self):
        self.pool = ThreadPool()
        self.results = {}
        self.lock = Lock()

    def add_task(self, method, params):
        self.lock.acquire()
        new_uuid = self.generate_new_uuid()
        while self.results.has_key(new_uuid):
            new_uuid = self.generate_new_uuid()
        self.results[new_uuid] = self.pool.apply_async(func=method, args=params)
        self.lock.release()
        return new_uuid

    def generate_new_uuid(self):
        return uuid.uuid1().hex[0:8]

    def task_ready(self, task_id):
        if self.results.has_key(task_id):
            return self.results[task_id].ready()
        else:
            return None

    def task_result(self, task_id):
        if self.task_ready(task_id):
            return self.results[task_id].get()
        else:
            return None
global task_queue = TaskQueue()

添加任务后，我可以记录结果，提供它的 uuid 几秒钟，然后它说任务没有准备好。这是我的日志：（我正在输出 task_queue.results）

[INFO] 2013-10-01 16:04:52,782 logger: {'ade5d154': <multiprocessing.pool.ApplyResult object at 0x1989906c>}
[INFO] 2013-10-01 16:05:05,740 logger: {}

请帮帮我！为什么地狱的结果消失了？

UPD：@freakish 帮助我找到了一些新信息。这个结果不会永远消失，如果我重复尝试记录它，它有时会消失。

[INFO] 2013-10-01 16:52:41,743 logger: {}
[INFO] 2013-10-01 16:52:45,775 logger: {}
[INFO] 2013-10-01 16:52:48,855 logger: {'ade5d154': <multiprocessing.pool.ApplyResult object at 0x1989906c>}
4

1 回答 1

3

好的，所以我们已经确定您正在运行 Django 的 4 个进程。在这种情况下，您的队列将不会在它们之间共享。实际上有两种可能的解决方案AFAIK：

  1. 使用共享排队服务器。您可以自己编写（例如参见此条目），但使用合适的（如 Celery）会容易得多（如果您无法说服雇主安装它，那么请辞去工作；））。

  2. 使用数据库将结果存储在其中并让每个服务器进行计算（通过进程或线程）。它不必是适当的数据库服务器。例如，您可以使用sqlite3。这是更安全可靠的方式，但效率较低。我认为这比排队机制更容易。您只需创建带有列的表：id, state, result。当您创建作业时，您使用 更新条目state=processing，当您完成作业时，您使用state=doneand更新条目result=result（例如作为 JSON 字符串）。这既简单又可靠（您实际上根本不需要排队，除非我遗漏了什么，否则作业的顺序并不重要）。

当然，除非您腌制结果，否则您将无法使用此.ready()功能（您应该将结果存储在这些存储中），但这是不必要的开销。

于 2013-10-01T13:10:47.297 回答