pyspark - 如何使用 pyspark 运行进化算法

Question

我想在 spark 上使用 pyspark 运行 GA、PSO 等进化算法。如何使用 MLLib 使用 Deap python 库来执行此操作。是否有任何其他库可用于执行相同的任务。

Answer 1

查看我关于如何将 DEAP 与 Spark 结合使用的答案，看看它是否适合您。

下面是一个示例，说明如何配置 DEAP工具箱以使用 Spark将地图功能替换为自定义功能。

from pyspark import SparkContext

sc = SparkContext(appName="DEAP")

def sparkMap(algorithm, population):
    return sc.parallelize(population).map(algorithm)

toolbox.register("map", sparkMap)

Answer 2

在https://github.com/DEAP/deap/issues/268中，他们展示了如何在 DEAP 包中执行此操作。然而，这是一个问题。但他们提到有一个拉取请求（https://github.com/DEAP/deap/pull/76），并且似乎固定代码/分支来自分叉回购。
听起来如果您使用该代码重建包，它应该可以解决问题。

我发现的另一个资源，没有尝试过，是https://apacheignite.readme.io/docs/genetic-algorithms。也遇到了这个https://github.com/paduraru2009/genetic-algorithm-with-Spark-for-test-generation