optimization - 什么是 kappa 变量（贝叶斯优化）

Question

我阅读了一些关于变量的帖子和教程BayesianOptimization，但从未见过关于kappa变量的解释。

• kappa变量是什么？
• 它对我们有什么帮助？
• 这些值如何影响BayesianOptimization过程？

Answer 1

该kappa参数与 一起xi用于控制贝叶斯优化获取函数平衡探索和利用的程度。

较高kappa的值意味着更多的探索和更少的开发，反之亦然。探索将搜索推向未探索的区域，而利用则通过惩罚更高的方差值来关注当前最佳结果附近的结果。

kappa在优化开始时从默认值开始，然后如果您减少搜索空间，则使用较低的值可能是有益的。

在 scikit-optimize 中，kappa仅在采集功能acq_func设置为“LCB”xi时使用，并且在acq_func“EI”或“PI”时使用，其中 LCB 是置信下限，EI 是预期改进，PI 是改进概率。

同样对于 BayesianOptimization 包：

 acq: {'ucb', 'ei', 'poi'}
            The acquisition method used.
                * 'ucb' stands for the Upper Confidence Bounds method
                * 'ei' is the Expected Improvement method
                * 'poi' is the Probability Of Improvement criterion.

采集函数的数学细节

请注意，BayesianOptimization包和scikit-optimize使用不同的默认kappa值：分别为 2.576 和 1.96。

scikit-optimize 文档中有一个不错的探索与利用示例。

有一个类似的贝叶斯优化探索与利用示例笔记本。

FWIW 我已经使用了这两个软件包并获得了不错的结果。我发现 scikit-optimize绘图函数在微调参数搜索空间时很有用。