3

该函数scipy.optimize.fmin_bfgs允许用户输入目标函数和梯度。由于我的桌面上有一台 8 核机器，我想我可以通过运行并行化求解器

from scipy import optimize
import itertools
import numpy as np

def single_grad_point((idx,px)):
    p = px.copy()
    epsilon = 10**(-6.0)
    p[idx] += epsilon
    d1 = err_func(p)
    p[idx] -= 2*epsilon
    d2 = err_func(p)
    return (d1-d2)/(2*epsilon)

def err_func_gradient(p):
    P = multiprocessing.Pool()   
    input_args = zip(*(xrange(len(p)), itertools.cycle((p,))))
    sol = P.imap(single_grad_point, input_args)
    return np.array(list(sol))

optimize.fmin_bfgs(err_func, p0, fprime=err_func_gradient)

简而言之，我使用多重处理来计算梯度的每个方向。如果目标函数err_func很昂贵，这似乎会获得显着的加速。然而，我的问题是关于所有multiprocessing.Pools. 既然有可能err_func_gradient被调用数万次，这会导致速度变慢或在某处泄漏吗？

4

2 回答 2

5

您可以使用mystic，它提供了一些scipy.optimize算法的并行版本，包括fmin和朋友。

尝试进行简单的调用以并行评估每个单纯形通常会减慢您的速度，除非您有一些非常昂贵的目标函数要计算。但是，如果您改为调用 的多个实例fmin，您实际上可以以最陡的下降速度获得伪全局优化。以下示例演示了已在多个 pubs 中使用的算法（见下文）： https ://github.com/uqfoundation/mystic/blob/master/examples/buckshot_example06.py

或者类似地，看看这里的例子：使用一个分支multiprocessing：https ://github.com/uqfoundation/pathos/blob/master/examples2/optimize_cheby_powell_mpmap.py

parallelpython或（分布式并行计算） 的一个分支： https ://github.com/uqfoundation/pathos/blob/master/examples2/optimize_cheby_powell_ppmap.py

或使用以下扩展名mpi4py： https ://github.com/uqfoundation/pathos/blob/master/examples2/optimize_cheby_powell_mpimap.py

在此处获取mystic（求解器框架）和pathos（并行计算框架）： https ://github.com/uqfoundation

酒馆参考资料（均已过时）： http ://conference.scipy.org/proceedings/scipy2011/mckerns.html http://trac.mystic.cacr.caltech.edu/project/mystic/wiki/Publications

但是，如果您想做更天真的版本fmin，最好的方法是只初始化和加载pool一次。这pathos已经为您提供了，但如果您想自己编写代码，只需将 的实例保存pool为单例即可。 https://github.com/uqfoundation/pathos/blob/master/pathos/multiprocessing.py

于 2014-06-08T14:37:45.857 回答
-3

对于初学者，您可以将梯度计算为

(f(x)-f(x+eps))/eps

然后对所有偏导数计算一次 f(x)。那应该可以为您节省一半的工作

于 2014-05-27T07:31:32.467 回答