1

假设我有一个最大的线程池执行器。10个线程，我向它提交一个任务，它本身创建另一个任务，然后递归地等待它完成，直到我达到11的深度。

Python中的示例代码：

import concurrent.futures

e = concurrent.futures.ThreadPoolExecutor(max_workers=10)

def task(depth):
    print 'started depth %d' % (depth, )
    if depth > 10:
        return depth
    else:
        f = e.submit(task, depth + 1)
        concurrent.futures.wait([f])


f = e.submit(task, 0)
print f.result()

上面的代码输出：

started depth 0
started depth 1
started depth 2
started depth 3
started depth 4
started depth 5
started depth 6
started depth 7
started depth 8
started depth 9

和死锁。

有没有办法在不创建额外线程和执行程序的情况下解决这个问题？

换句话说，工作线程在等待时处理其他任务的方法？

4

3 回答 3

3

使用协程，您的代码可以重写为：

import asyncio

@asyncio.coroutine
def task(depth):
    print('started depth %d' % (depth, ))
    if depth > 10:
        return depth
    else:
        # create new task
        t = asyncio.async(task(depth + 1))
        # wait for task to complete
        yield from t
        # get the result of the task
        return t.result()

loop = asyncio.get_event_loop()
result = loop.run_until_complete(task(1))
print(result)
loop.close()

但是，我很难理解为什么您需要所有这些额外的代码。在您的示例代码中，您总是直接等待任务的结果，因此您的代码在没有执行程序的情况下运行没有什么不同。例如，以下将产生相同的结果

def task(depth):
    print 'started depth %d' % (depth, )
    if depth > 10:
        return depth
    else:
        task(depth + 1)

我认为文档中的这个示例更好地展示了异步协程如何能够并行化任务。此示例创建 3 个任务，每个任务计算不同的阶乘。请注意，当每个任务让给另一个协程（在本例中async.sleep）时，另一个任务是如何被允许继续执行的。

import asyncio

@asyncio.coroutine
def factorial(name, number):
    f = 1
    for i in range(2, number+1):
        print("Task %s: Compute factorial(%s)..." % (name, i))
        yield from asyncio.sleep(1)
        f *= i
    print("Task %s: factorial(%s) = %s" % (name, number, f))

loop = asyncio.get_event_loop()
tasks = [
    asyncio.ensure_future(factorial("A", 2)),
    asyncio.ensure_future(factorial("B", 3)),
    asyncio.ensure_future(factorial("C", 4))]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

输出：

Task A: Compute factorial(2)...
Task B: Compute factorial(2)...
Task C: Compute factorial(2)...
Task A: factorial(2) = 2
Task B: Compute factorial(3)...
Task C: Compute factorial(3)...
Task B: factorial(3) = 6
Task C: Compute factorial(4)...
Task C: factorial(4) = 24
于 2015-05-24T21:58:24.737 回答
1

不，如果你想避免死锁，你不能等待任务中同一个执行者的未来。

在这个例子中你唯一能做的就是返回未来，然后递归处理结果：

import concurrent.futures
import time

e = concurrent.futures.ThreadPoolExecutor(max_workers=10)

def task(depth):
    print 'started depth %d' % (depth, )
    if depth > 10:
        return depth
    else:
        f = e.submit(task, depth + 1)
        return f


f = e.submit(task, 0)
while isinstance(f.result(), concurrent.futures.Future):
    f = f.result()

print f.result()

但是，最好首先避免这种递归执行。

于 2015-05-24T19:23:36.533 回答
0

您在这里所经历的是您已经正确地称为deadlock的情况。启动下一个线程并等待它的第一个线程持有一个lock所有后续任务将在等待lock释放相同的任务时死锁（在您的情况下永远不会）。我建议您在任务中启动自己的线程而不是使用池，例如：

import concurrent.futures
import threading


class TaskWrapper(threading.Thread):

    def __init__(self, depth, *args, **kwargs):
        self._depth = depth
        self._result = None
        super(TaskWrapper, self).__init__(*args, **kwargs)

    def run(self):
        self._result = task(self._depth)

    def get(self):
        self.join()
        return self._result

e = concurrent.futures.ThreadPoolExecutor(max_workers=10)


def task(depth):
    print 'started depth %d' % (depth, )
    if depth > 10:
        return depth
    else:
        t = TaskWrapper(depth + 1)
        t.start()
        return t.get()

f = e.submit(task, 0)
print f.result()
于 2015-05-24T19:24:24.630 回答