2

我在使用 GPyTorch 开箱即用地安装简单的二维 GP 时遇到了很多困难。正如您在下面看到的，拟合度非常差，并且将 RBF 内核换成 Matern 之类的东西并没有太大改善。优化似乎确实收敛，但不是在任何合理的地方。

class GPRegressionModel(gpytorch.models.ExactGP):
    def __init__(self, train_x, train_y, likelihood):
        super(GPRegressionModel, self).__init__(train_x, train_y, likelihood)

        self.mean_module = gpytorch.means.ConstantMean()
        self.covar_module = gpytorch.kernels.ScaleKernel(
                gpytorch.kernels.RBFKernel(ard_num_dims=2),
            )

    def forward(self, x):
        mean_x = self.mean_module(x)
        covar_x = self.covar_module(x)
        return gpytorch.distributions.MultivariateNormal(mean_x, covar_x)

在此处输入图像描述

除了文档中包含的示例之外，还有没有人有很好的教程示例？

4

1 回答 1

0

在尝试拟合高维高斯过程时，我遇到了类似的问题。一些建议（不确定这些是否可行）：

  1. 尝试使用ZeroMean, 而不是常数均值。可能是拥有更多的超参数（恒定的平均超参数值）可以将-mll目标引导到局部最小值，而不是全局最小值。使用不同的优化器，例如lbfgs（它是二阶的，而不是adamor sgd，它们都是一阶的）也可能对此有所帮助。

  2. 尝试使用min-max归一化对输入数据进行归一化，并使用标准正态归一化对目标进行归一化。简而言之，这些标准化步骤可确保您的数据与这些 GPR 模型的默认先验一致。有关这方面的更多信息，请查看此 GitHub 问题。N(0,1)

  3. 尝试改变学习率来优化你的超参数，或者你训练它的 epoch 数。

  4. 如果您发现数值精度有任何问题（特别是在归一化之后，如果您选择使用它），请尝试通过将 Torch 张量转换为具有tensor.double().

同样，不能保证这些可以解决您遇到的问题，但希望它们有所帮助！

以下是我整理的一些教程。

于 2021-04-06T16:51:20.030 回答