7

我正在使用 hyperopt 来调整我的 ML 模型，但在使用 qloguniform 作为搜索空间时遇到了麻烦。我给出了来自官方 wiki的示例并更改了搜索空间。 

import pickle
import time
#utf8
import pandas as pd
import numpy as np
from hyperopt import fmin, tpe, hp, STATUS_OK, Trials

def objective(x):
    return {
        'loss': x ** 2,
        'status': STATUS_OK,
        # -- store other results like this
        'eval_time': time.time(),
        'other_stuff': {'type': None, 'value': [0, 1, 2]},
        # -- attachments are handled differently
        'attachments':
            {'time_module': pickle.dumps(time.time)}
        }
trials = Trials()
best = fmin(objective,
    space=hp.qloguniform('x', np.log(0.001), np.log(0.1), np.log(0.001)),
    algo=tpe.suggest,
    max_evals=100,
    trials=trials)
pd.DataFrame(trials.trials)

但得到以下错误。

ValueError: ('negative arg to lognormal_cdf', array([-3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, -3.45387764, - 3.45387764、-3.45387764、-3.45387764、-3.45387764、-3.45387764、-3.45387764、-3.45387764、-3.45387764、-3.45387764、-3.45387764]、-3.438)3)

我尝试过如下不进行对数转换，但输出值结果是对数转换（例如 1.017,1.0008,1.02456），这是错误的。它与文档一致。

hp.qloguniform('x', 0.001,0.1, 0.001)

谢谢

4

1 回答 1

8

问题似乎在于 的最后一个参数hp.qloguniform，q以及如何tpe.suggest使用它。

  1. 首先让我们讨论一下q. 根据文档：

    hp.qloguniform（标签，低，高，q）

    round(exp(uniform(low, high)) / q) * q

    适用于目标是“平滑”的离散变量，并且随着值的大小变得更平滑，但应该上下都有界。

    q这是一个"quantizer"将定义空间的输出限制为 的倍数q。例如，以下是内部发生的情况qloguniform：

    from hyperopt import pyll, hp
n_samples = 10

space = hp.loguniform('x', np.log(0.001), np.log(0.1))
evaluated = [pyll.stochastic.sample(space) for _ in range(n_samples)]
# Output: [0.04645754, 0.0083128 , 0.04931957, 0.09468335, 0.00660693,
#          0.00282584, 0.01877195, 0.02958924, 0.00568617, 0.00102252]

q = 0.005
qevaluated = np.round(np.array(evaluated)/q) * q
# Output: [0.045, 0.01 , 0.05 , 0.095, 0.005, 0.005, 0.02 , 0.03 , 0.005, 0.])

    比较evaluated和qevaluated这里。qevaluated是 的倍数，q或者我们说它在 的“间隔”（或步骤）中量化q。您可以尝试更改q值以了解更多信息。

    与生成的q样本范围（）相比，您在问题中定义的非常大0.001 to 0.1：

    np.log(0.001)
# Output: -6.907755278982137

    所以，这里所有值的输出都是 0。

    q = np.log(0.001)
qevaluated = np.round(np.array(evaluated)/q) * q
# Output: [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.]

  2. 现在来看（本文tpe.suggest的第 4 节）：TPE 使用不同估计器的树来优化搜索过程，在此期间它根据空间的生成器（在这种情况下）划分搜索空间。有关详细信息，请参见此处的代码。为了将空间分成多个部分，它将使用.qloguniformq

    但是由于您空间中的所有点都是 0.0（如上所述），因此这个负数会q产生无效的边界，lognormal_cdf 这是不可接受的，因此会产生错误。

长话短说，您的用法q不正确。正如您在评论中已经说过的那样：-

q根据_round(exp(uniform(low, high)) / q) * q

所以你应该只提供q对你所需空间有效的值。所以在这里，由于您要生成 和 之间0.001的值0.1，因此该q值应该与它们具有可比性。

我同意你提供np.log(0.001)和np.log(0.1)在里面，qloguniform但是这样输出值在 0.001 和 0.1 之间。所以不要np.log在q. q应根据生成的值使用。

于 2018-12-18T16:49:47.740 回答