0

如何并行化以下代码，属性列中的元素数量接近 15，因此组合需要更多时间。

combs = set()
for L in range(0,len(attributes)+1):
    combs.add(itertools.combinations(attributes,L))

有什么方法可以使用多处理并行化它？

我试过这个，但我收到了这个错误。- 如果块大小 <= 0：

TypeError：不可排序的类型：range() <= int()

import itertools     
from multiprocessing import Pool
def comb(attributes):
    res = itertools.combinations(attributes)
    return res

def main():
    p = Pool(4)
    times = range(0,len(attributes)+1)                                                
    values = p.map(comb,attributes,times)
    p.close()
    p.join()
    print(values)

if __name__ == '__main__':
    attributes =('Age', 'Workclass', 'Fnlwgt', 'Education', 'Education-num', 'marital-status', 'Occupation', 'Relationship', 'Race', 'Sex', 'Capital-gain', 'Capital-loss', 'Hours-per-week', 'Native country', 'Probability', 'Id')
    main()

既然被要求解释这个问题，那么你就去吧......我试图在不更换的情况下获得组合。基本上是n！。例如，如果我的属性变量中有 A,B,C，我试图获取 (A),(B),(C),(A,B),(A,C),(A,B, C）。由于属性中的元素数量不是静态的，并且会根据输入数据集而变化，因此我无法对其进行硬编码。所以，我在这里使用 len(attributes)，其中属性将存储数据集中的属性。然后创建组合， itertools.combinations(attributes,L) 通常会创建长度 L 的所有组合。在我的示例中，如果我给出长度（属性），那么我将只得到 ABC，而不是其他组合。所以我创建了一个长度范围并添加一个来处理第零个元素。

现在回到问题上来，我的数据集中可能有 15 个元素，因此长度（属性）将是 15，即 15！。这个组合生成需要很多时间，因为它必须做这个阶乘。所以我正在考虑以每个处理器一次处理一个组合集生成的方式并行化它，例如一个处理器将生成长度为 2 和长度为 3 的其他组合的所有组合，等等......但是在池映射中我我无法正确传递多个论点。希望这可以清除情况，如果需要进一步解释，请告诉我。

4

1 回答 1

4

您的多处理代码存在几个问题，这意味着它不会像您的单进程版本那样工作。

首先，您没有p.map正确调用。该map方法的参数是要调用的函数、参数（单个序列）和块大小，指定一次传递给工作人员的值的数量。您将range对象作为传递chunksize，这是您的错误的直接原因。

但是，如果您尝试解决此问题，则会发现其他问题。例如，您传递attributes给map的方式是它只会将一个值传递给每个工作进程，而不是整个属性列表。并且您的comb函数返回组合值的迭代器，而不是值本身（因此工作人员将或多或少立即完成，但返回一些无法有效打印出来的内容）。

这是我认为有效的代码：

import itertools     
from multiprocessing import Pool

# attributes is always accessible as a global, so worker processes can directly access it
attributes = ('Age', 'Workclass', 'Fnlwgt', 'Education', 'Education-num',
              'marital-status', 'Occupation', 'Relationship', 'Race', 'Sex',
              'Capital-gain', 'Capital-loss', 'Hours-per-week', 'Native country',
              'Probability', 'Id')

def comb(n): # the argument n is the number of items to select
    res = list(itertools.combinations(attributes, n)) # create a list from the iterator
    return res

def main():
    p = Pool(4)
    times = range(0, len(attributes)+1)                                                
    values = p.map(comb, times) # pass the range as the sequence of arguments!
    p.close()
    p.join()
    print(values)

if __name__ == '__main__':
    main()

如果属性列表很大，这段代码仍然需要一段时间才能完成，但这仅仅是因为要打印出大量的值（具有n值的集合的幂集具有2^n子集）。我的 IDE 告诉我输出超过 88000 行（幸好没有全部显示）。如果问题的多处理部分不如输出部分那么重要，那就不会感到惊讶了！

于 2014-09-18T10:43:59.153 回答