1

我了解粒子群优化的一般工作原理，并在几篇文章中阅读过它。值得注意的是，大多数关于 PSO 的文章都集中在优化单方程函数上。在 Pedersen 的 Good Parameters for Particle Swarm Optimization 中，他给出了 18 个结果，这些结果来自他对大约 10 个基准问题的 PSO 进行元优化，有 7 个维度（从 2 到 100）。

我想用 PSO 优化多层感知器。我已经在 Matlab 中成功地完成了一些相当小的 MLP，但没有我想要的那么大。（100 个维度对于单方程函数来说是巨大的，但它是神经网络中权重和偏差的极小数量。我预计需要大约 800,000 个权重和偏差 - 维度 - 以在我的最终程序中进行优化。 )

据我了解，我的问题是我找不到一个简单的解释来说明如何选择、 和* 的值w，以便可以优化具有任意维数的任何函数。（我敢肯定这要求太多，但至少有一个函数，虽然它有台阶不连续性，但在大范围内看起来很平滑，并且没有白噪声。）c1c2

或者有没有人对神经网络进行元优化 PSO？

4

1 回答 1

1

在所有类型的基于种群的方法中，如何选择参数是一个具有挑战性的问题。它主要是通过测试多组参数然后为任务选择最佳设置来完成的。不过幸运的是，PSO 的目标是在最佳位置收敛，而 A. Engelbrecht 已经证明并非所有参数集都会收敛。这是一篇有解释的论文。收敛条件列于第 945 和 947 页。我相信您还可以在幻灯片中列出的参考文献中找到发布的论文。除了缩小范围之外，您只需要找到适合您特定问题的探索和利用的平衡。

另外，我想让你知道，根据我使用 PSO 进化神经网络的经验，只要你的数据是静态的，它远不如使用一般反向传播方法有效。如果您在动态环境中工作，那么量子/带电 PSO 是更好的选择。

我希望这已经缩小了您对参数的搜索范围，并为您提供了一些额外的见解。

编辑：

将链接替换为具有类似图表的论文注：

包含图表的论文：

“粒子群优化粒子轨迹的研究” F. van den Bergh, AP Engelbrecht

于 2017-07-19T21:20:05.737 回答