4

我正在为我的主项目说明 hyperopt 的 TPE 算法，但似乎无法让算法收敛。从我从原始论文和 youtube讲座中了解到，TPE 算法按以下步骤工作：

（在下文中，x = 超参数和 y = 损失）

  1. 首先创建一个 [x,y] 的搜索历史，比如 10 个点。
  2. 根据损失对超参数进行排序，并使用一些分位数 γ 将它们分成两组（γ = 0.5 表示这些组的大小相同）
  3. 对差的超参数组 (g(x)) 和好的超参数组 (l(x)) 进行核密度估计
  4. 好的估计在 g(x) 中的概率很低，在 l(x) 中的概率很高，因此我们建议在 argmin(g(x)/l(x)) 处评估函数
  5. 在建议的点评估 (x,y) 对并重复步骤 2-5。

我已经在目标函数 f(x) = x^2 上在 python 中实现了这一点，但该算法未能收敛到最小值。

import numpy as np
import scipy as sp
from matplotlib import pyplot as plt
from scipy.stats import gaussian_kde


def objective_func(x):
    return x**2

def measure(x):
    noise = np.random.randn(len(x))*0
    return x**2+noise

def split_meassures(x_obs,y_obs,gamma=1/2):
    #split x and y observations into two sets and return a seperation threshold (y_star)
    size = int(len(x_obs)//(1/gamma))
    l = {'x':x_obs[:size],'y':y_obs[:size]}
    g = {'x':x_obs[size:],'y':y_obs[size:]}
    y_star = (l['y'][-1]+g['y'][0])/2
    return l,g,y_star

#sample objective function values for ilustration
x_obj = np.linspace(-5,5,10000)
y_obj = objective_func(x_obj)

#start by sampling a parameter search history
x_obs = np.linspace(-5,5,10)
y_obs = measure(x_obs)

nr_iterations = 100
for i in range(nr_iterations):

    #sort observations according to loss
    sort_idx = y_obs.argsort()
    x_obs,y_obs = x_obs[sort_idx],y_obs[sort_idx]

    #split sorted observations in two groups (l and g)
    l,g,y_star = split_meassures(x_obs,y_obs)

    #aproximate distributions for both groups using kernel density estimation
    kde_l = gaussian_kde(l['x']).evaluate(x_obj)
    kde_g = gaussian_kde(g['x']).evaluate(x_obj)

    #define our evaluation measure for sampling a new point
    eval_measure = kde_g/kde_l

    if i%10==0:
        plt.figure()
        plt.subplot(2,2,1)
        plt.plot(x_obj,y_obj,label='Objective')
        plt.plot(x_obs,y_obs,'*',label='Observations')
        plt.plot([-5,5],[y_star,y_star],'k')
        plt.subplot(2,2,2)
        plt.plot(x_obj,kde_l)
        plt.subplot(2,2,3)
        plt.plot(x_obj,kde_g)
        plt.subplot(2,2,4)
        plt.semilogy(x_obj,eval_measure)
        plt.draw()

    #find point to evaluate and add the new observation
    best_search = x_obj[np.argmin(eval_measure)]
    x_obs = np.append(x_obs,[best_search])
    y_obs = np.append(y_obs,[measure(np.asarray([best_search]))])

plt.show()

我怀疑发生这种情况是因为我们一直在最确定的地方进行采样，从而使 l(x) 在这一点附近变得越来越窄，这根本不会改变我们的采样位置。那么我的理解不足在哪里呢？

4

1 回答 1

1

所以，我还在学习 TPE。但这是这段代码中的两个问题：

  1. 这段代码只会评估几个独特的点。因为最佳位置是根据核密度函数推荐的最佳位置计算的，但代码无法探索搜索空间。例如，采集功能做什么。

  2. 因为此代码只是将新的观察结果附加到 x 和 y 的列表中。它增加了很多重复项。重复会导致一组倾斜的观察结果，从而导致非常奇怪的分裂，您可以在后面的图中很容易地看到这一点。eval_measure开始时类似于目标函数，但稍后会发散。

如果您删除重复项，x_obs则y_obs可以删除问题编号。2. 但是，第一个问题只能通过增加一些探索搜索空间的方式来解决。

于 2019-10-13T18:05:40.557 回答