3

是否可以将 DEAP（http://deap.readthedocs.io/en/master/）与 spark 集群一起使用来映射适应度评估函数。我想运行一个 GA，但适应度函数相当长，我打算将它分布在 spark 集群上。

4

1 回答 1

2

您应该查看 DEAP 文档中的Using Multiple Processors部分和这个示例。他们解释了如何用您选择的地图功能替换 DEAP工具箱中的地图功能。

要使用 pyspark 映射适应度评估函数，您可以执行以下操作：

from pyspark import SparkContext

sc = SparkContext(appName="DEAP")

def sparkMap(algorithm, population):
    return sc.parallelize(population).map(algorithm)

toolbox.register("map", sparkMap)
于 2017-09-06T02:23:07.953 回答