python-3.x - Gridsearchcv 与贝叶斯优化

Question

Gridsearchcv 和贝叶斯优化中哪一个更适合优化超参数？

Answer 1

这里没有更好的，它们是不同的方法。

在Grid Search您尝试某些范围内的所有可能的超参数组合。

在Bayesian您不尝试所有组合时，您会在尝试它们时沿着超参数学习的空间进行搜索。这可以避免尝试所有组合。

所以优点Grid Search是你是详尽的，优点Bayesian是你不需要，基本上如果你可以在计算能力方面去，Grid Search但如果搜索空间太大，那就去吧Bayesian。

Answer 2

众所周知，网格搜索在优化超参数方面比随机搜索更糟糕 [1]，无论是在理论上还是在实践中。除非您只优化一个参数，否则切勿使用网格搜索。另一方面，贝叶斯优化被认为在各种问题上优于随机搜索，也用于优化超参数 [2]。然而，这并没有考虑到几件事：使用这些超参数的模型的泛化能力，与更简单的随机搜索相比使用贝叶斯优化的努力，以及并行使用随机搜索的可能性。

所以总而言之，我的建议是：永远不要使用网格搜索，如果您只想尝试几个超参数并且可以并行尝试它们（或者如果您希望超参数泛化到不同的问题），请使用随机搜索，并使用贝叶斯优化如果你想要最好的结果并且愿意使用更先进的方法。

[1] 超参数优化的随机搜索，Bergstra & Bengio 2012。

[2] 贝叶斯优化优于机器学习超参数调整的随机搜索：2020 年黑盒优化挑战分析，Turner 等人。2021 年。