0

我目前正在尝试在 Mathematica 中实现高斯过程，并且坚持最大化对数似然。我只是尝试在我的对数似然函数上使用 FindMaximum 公式，但这似乎不适用于此函数。

 gpdata = {{-1.5, -1.8}, {-1., -1.2}, {-0.75, -0.4}, {-0.4, 
0.1}, {-0.25, 0.5}, {0., 0.8}};

kernelfunction[i_, j_, h0_, h1_] := 
h0*h0*Exp[-(gpdata[[i, 1]] - gpdata[[j, 1]])^2/(2*h1^2)] + 
KroneckerDelta[i, j]*0.09;

covariancematrix[h0_, h1_] = 
ParallelTable[kernelfunction[i, j, h0, h1], {i, 1, 6}, {j, 1, 6}];

loglikelihood[h0_, h1_] := -0.5*
  gpdata[[All, 2]].LinearSolve[covariancematrix[h0, h1], 
  gpdata[[All, 2]], Method -> "Cholesky"] - 
0.5*Log[Det[covariancematrix[h0, h1]]] - 3*Log[2*Pi];

FindMaximum[loglikelihood[a, b], {{a, 1}, {b, 1.1}}, 
MaxIterations -> 500, Method -> "QuasiNewton"]

在对数似然中，我通常会得到协方差矩阵的倒数乘以 gpdata[[All, 2]] 向量的乘积，但是因为协方差矩阵总是半正定的，所以我这样写。如果我使用 gpdata[[All, 2]].Inverse[ covariancematrix[h0, h1]].gpdata[[All, 2]]，评估也不会停止

有人有想法吗？我实际上正在研究一个更复杂的问题，我有 6 个参数需要优化，但我已经遇到了 2 个问题。

4

1 回答 1

1

根据我的经验，我发现二阶方法在超参数优化方面比基于梯度的方法更失败。我认为这是因为（大多数？）二阶方法依赖于接近当前估计值的二次函数。

使用共轭梯度甚至鲍威尔（无导数）共轭方向方法在我的实验中证明是成功的。对于两个参数的情况，我建议出于某种直觉制作超参数曲面的等高线图。

于 2013-12-20T18:53:40.233 回答