hyperparameters - GPflow 中超参数的初步猜测

Question

我也在GPflow GitHub 上问过这个问题

m.likelihood.variance.assign(0.01)我通过使用和m.kernel.lengthscales.assign(0.3)显着影响最终优化的超参数找到了超参数的初始猜测。我想知道是否有一种方法可以得到一个好的初步猜测？例如，使用数据集进行估计。

Answer 1

您可以尝试使用全局优化器，scipy.optimize.basinhopping()而不是典型scipy.optimize.minimize()或tf.optimizers.adam()本地优化器。这至少会让你更有信心，你不会陷入最近的局部最优。

Answer 2

正如Mark 在 GPflow GitHub 上所指出的，这对于一般的 GP 来说是一个常见问题，无论实现如何（无论是在 GPflow 还是其他包中），这篇关于 Distill 的文章草稿对此进行了深入讨论。