2

在 Dask 中，生成器何时转换为列表，或者它们通常是懒惰地消耗？例如，使用代码：

from collections import Counter
import numpy as np
import dask.bag as db

def foo(n):
    for _ in range(n):
        yield np.random.randint(10)

def add_to_count(acc, x):
    acc.update(x)
    return acc

def add(x,y):
    return x + y

b1 = db.from_sequence([1,2,3,4,5])
b2 = b1.map(foo)
result = b2.fold(add_to_count, add, Counter())

我得到以下输出，其中生成器已（合理地）转换为列表供我检查：

>>> b2.compute()
[[5], [5, 6], [3, 6, 1], [5, 6, 6, 0], [5, 6, 6, 0, 3]]

虽然合理，但它不同于我通常期望生成器在 Python 中的行为方式，后者需要显式转换为列表。

那么，在计算fold( ) 时，是生成器result.compute()的输入参数 ，还是已经将其转换为列表？xadd_to_count

我对列表很长的情况很感兴趣，因此惰性评估更有效，比如 b1 = db.from_sequence([10**6]*10).

我猜我也可以用 解决上述问题bag.frequencies，但我对惰性评估和有效减少也有类似的担忧。

Dask 是否有一个基本方面我不是在摸索，或者我只是懒惰，我在哪里可以查看代码来自己解决这个问题？

4

1 回答 1

3

不完全合适，但我将提供一个稍微不同的问题的答案：

Dask.bag 为你添加了对 list` 的防御调用，以防你决定在一次计算中分支并使用包两次：

x = b.map(func1, b)
y = b.map(func2, b)
compute(x.frequencies(), b.frequencies())

这在使用多处理或分布式等后端时也很有用，因为我们不能跨进程边界发送生成器，但可以发送列表。

但是，这些防御性调用会list在可能的情况下在计算之前进行优化，以促进惰性。

总之，一切都应该尽可能按照您想要的方式工作，但当懒惰会妨碍正确性时，会恢复为具体的非懒惰值。

于 2016-03-03T15:24:39.000 回答