1

我正在使用hyperopt库来调整我的模型。

这是我的搜索空间：

search_space = {
            'max_df': hp.choice('max_df', [1, 0.95, 0.9]),
            'cls': hp.choice('cls', ['A', 'B', 'C', 'D', 'E', 'F', 'G',
                                     ]),
            'ngram_range': hp.choice('ngram_range', [
                (2,3), (2,4), (2,5), (2,6),
                (3,4), (3,5), (3,6),
                (4,5), (4,6), (5,6)
            ]),
        }

这是我的代码：

trials = Trials()
best = fmin(self.objective_function, space=search_space, algo=tpe.suggest, max_evals=140, trials=trials)
bp = trials.best_trial['result']['Params']
print(bp)

根据我拥有的可能参数的数量，库应该完成210迭代以完成搜索过程（3 * 7 * 10）

我将参数设置max_evals为 140，它小于可能的总数。

每次迭代后，我都会将我拥有的参数与分数一起保存。我发现，即使我在较低的空间（140 而不是 210）中搜索，也有重复参数的试验（迭代）。

图书馆是遵循Gridsearchhyperopt技术还是在每次试验中随机组合参数？

我要问的是参数选择过程，而不是优化技术（例如Bayesian优化）。

4

1 回答 1

2

在您使用的代码中（树结构 Parzen 估计器），您可以在hyperopt 的作者的这篇论文tpe中了解更多信息。我不能在这里告诉你太多关于这个算法的信息，但请注意，每个这样的搜索都将从一个预定义的“启动”期开始。Hyperopt 默认使用 20 次随机试验来“播种”TPE，请参见此处。由于您的搜索空间相当小，并且这些随机试验是独立挑选的，这可能已经解释了您的重复。

如果您愿意，也可以使用纯随机搜索或 hyperopt 中称为 ATPE 的变体来代替 TPE。

于 2019-11-29T18:42:25.440 回答