随机搜索是机器学习中超参数优化的一种可能性。我已经应用随机搜索来搜索具有 RBF 内核的 SVM 分类器的最佳超参数。除了连续的 Cost 和 gamma 参数之外，我还有一个离散参数以及对某些参数的等式约束。
现在，我想进一步开发随机搜索，例如通过自适应随机搜索。这意味着例如搜索方向或搜索范围的适配。
有人知道如何做到这一点或可以参考一些现有的工作吗？也欢迎其他改进随机搜索的想法。
问问题
692 次
3 回答
1
要改进随机搜索过程，您可以参考Hyperband。
Hyperband 是 UC Berkeley AMP Lab 提出的一种方法，旨在提高随机搜索等调优方法的效率。
于 2017-01-09T09:00:18.563 回答
1
你为什么要重新发明轮子？超参数优化是一个很好的研究课题，至少有少数最先进的方法可以简单地解决 SVM 的问题，包括：
- 贝叶斯优化（通常通过使用高斯过程对模型质量进行建模），例如bayesopt http://rmcantin.bitbucket.org/html/
- 包含在 hyperopt http://hyperopt.github.io/hyperopt/中的 parzen 估计器树（有时更适合离散、复杂的超参数空间）
于 2016-05-19T21:19:28.553 回答
0
我想补充一点，贝叶斯优化是自适应随机搜索的完美示例，所以看起来它正是您想要应用的。
贝叶斯优化的思想是使用高斯过程（GP）对目标函数进行建模，根据当前模型选择最佳的下一个点，并在看到实际结果后更新模型。因此，有效地，贝叶斯优化从随机搜索开始，逐渐构建函数外观的图景，并将焦点转移到最有希望的领域（请注意，“有希望”可以通过不同的特定方法进行不同的定义 - PI、EI、 UCB 等）。还有其他技术可以帮助它在探索和利用之间找到适当的平衡，例如投资组合策略。如果这就是您所说的自适应，那么贝叶斯优化就是您的选择。
如果你想在没有外部库的情况下扩展你的代码，这是完全可能的，因为贝叶斯优化并不难实现。您可以查看我在研究中使用的示例代码，例如这里是与 GP 相关的大部分代码。
于 2017-09-17T07:08:29.717 回答