问题标签 [gaussian-process]

我正在尝试使用 scikit-learn 和 GP。我尝试使用库的默认优化器进行预测。这是我使用简单内核列表所做的事情，其中​​超参数的边界是固定的，如此处所示

接着：

但是，有人建议我最好手动搜索超参数，搜索最高的 LML。进行此计算后，我查看了优化的超参数，例如，对于 RBF 内核，我获得的尺度长度为：

一旦我知道该值，我就尝试搜索存储在包含 1 的数组中的许多比例长度值。手动搜索超参数的代码是：

然后我得到的尺度长度的最佳结果是 0.2。有什么我做错了吗？我选择这个作为例子来询问，因为它只取决于一个超参数。我需要进行此搜索，因为我有兴趣采用迭代算法通过优化搜索来搜索内核组合。

我目前正在对数据集的前 30% 训练高斯过程回归模型，以预测最后 70%。由于我有许多有点相似的数据集，所以我想使用一个已经训练好的模型，并将其拟合到一个新的数据集中，其中参数和权重不仅被覆盖，而是从旧数据调整到新数据模型。在查看 SKlearns 高斯过程回归的文献时，我似乎无法弄清楚如何做到这一点。我发现其他模型有 partial.fit() 函数，但 GPR 不存在。

所以我想知道是否有解决方法，或者是否真的有一个功能可以实现我想要做的事情。

我正在应用 GP 回归来预测风电场的功率输出。我在 Matlab 中使用 GPML 工具箱。我使用 beta 可能性作为限制 GP 预测的一种方式（涡轮机具有最大功率输出，但 GP 不知道这一点并且经常高估功率输出）。这极大地改善了结果，但是当我尝试在整个数据集（非常大）上运行它时出现了我的问题，因为我需要使用内置的稀疏近似。

从文档来看，似乎支持使用带有 beta 似然性和拉普拉斯推理的 apxsparse，但是每当我运行它时，它都会失败，因为矩阵“不是正定的”有人知道为什么会这样吗？我在下面包含了我的代码；实现稀疏的代码被注释掉了，它运行良好，当你尝试包含它时，我得到了上述错误。

如果有人知道更好并且知道这不受支持，请告诉我。

我正在创建一些 GPflow 模型，其中我需要阈值前后的观察x0是先验独立的。我可以仅使用 GP 模型或使用具有无限陡度的 ChangePoints 内核来实现这一点，但是这两种解决方案都不适用于我未来的扩展（尤其是 MOGP）。

我想我可以轻松地从头开始构建我想要的东西，所以我制作了一个新的 Combination 内核对象，它使用适当的子内核 pre- 或 post x0。当我在一组输入点上评估内核时，这按预期工作；阈值前后点之间的预期相关性为零，其余由子内核确定：

但是，当我想用​​这个内核训练一个 GPflow 模型时，我收到错误消息TypeError: Expected int32, got None of type 'NoneType' instead.这似乎是由子内核矩阵产生的K_pre，并且K_post是 size (None, 1)，而不是预期的正方形（如果我评估内核，它们是正确的） '手动'）。

我该怎么做才能使内核正确训练？

我正在使用 GPflow 2.1.3 和 TensorFlow 2.4.1。

我正在尝试与高斯过程分类取得联系并尝试从https://docs.gpytorch.ai/en/stable/examples/01_Exact_GPs/GP_Regression_on_Classification_Labels.html重现该示例

按照他们的代码，我想通过

但是，这似乎不起作用，我得到了错误：

FixedNoiseGaussianLikelihood 等其他可能性也不起作用。

我试图在 Conda 中重新安装 GPyTorch，但没有帮助。 但是导入 ie GaussianLikelihood 没有问题。有人遇到过类似的问题，或者知道如何解决这个错误吗？

编辑：它仅不适用于 Jupyter Notebook。

最好的

我不理解R 包 {DiceKriging} 中 kmEstimate() 中的这三个任务。函数中没有使用对象 X、y 和 F，我不知道还有什么地方......那么这些对象有什么用呢？

非常感谢您提前！！！

我想了解贝叶斯 GPLVM 实现在 GPflow 中是如何工作的，但我正在努力处理几行代码。我将不胜感激任何帮助我解决以下问题：

1. 我了解gplvm.py第 178 行中的矩阵 B ：

B = AAT + tf.eye(num_inducing, dtype=default_float())

对应于方程式中的 $\beta\Psi_2 + K_{MM}$。14 Titsias 和劳伦斯 2010 年。但是，我不明白代码是如何实现这个表达式的。

2. 与上一个问题相关，我无法理解gplvm.py第 175-181 行中的 A、tmp、AAT 和 c 是什么意思？

我猜代码正在使用矩阵求逆引理，但我看不出如何。

3. 在等式。14 来自Titsias 和 Lawrence 2010，有三个术语我无法理解它们是如何在gplvm.py中计算的：

   • 0.5 \beta^2 y_d^T \Psi_1 (\beta\Psi_2+K_{MM})^{-1} \Psi_1^T y_d （这个公式出现在公式14下面的W表达式中）
   • 0.5 D \beta Tr(K_{MM}^{-1} \Psi_2)
   • 0.5 D \log |K_{MM}|

我将不胜感激任何提示。

真诚地，华金

尝试使用手写数字数据集的光学识别在 python 中实现高斯混合模型实现，该数据集由每个大小 [100x64] 的 10 个训练折叠和每个大小 [100x1] 的 10 个训练标签组成。该数据集还有一个测试数据集和大小为 $\left[110x64\right]$ 和 [110x1] 的标签集。只有两个类 5 和 6。我在类条件密度方法上得到以下错误：

鉴于此数据集配置，不知道我是否正确估计了最佳参数。根据 Bishop（模式识别和机器学习 2006）。我首先必须通过 MLE 估计最佳参数。所以对于每一折，我都在估计最佳参数，但是我不知道如何计算后验概率。

我什至不知道我的方法是否正确。我已经在 GitHub 和 medium 上搜索过类似的示例。任何帮助或指导将不胜感激。

我的代码实现：

参数功能

我正在通过包PyGPGO研究贝叶斯优化，它在引擎盖下使用 PyMC3，将高斯过程拟合到底层函数并提出运动以最大化奖励。

到目前为止，根据标量值定义函数似乎真的很容易，尤其是在参数有限的情况下。但是，我不确定是否有办法提供向量/数组参数。

我想要的是类似的东西：

如果这不可能，我可能会以 的形式设置多个变量，{x1: ..., x2: ...,}然后通过函数定义本身相应地访问它们，尽管当参数空间很大时这似乎不是最佳的。

编辑：这是我的方法，这是行不通的......

和错误：

因此，将参数包装到字典中似乎比我预期的要复杂一些，因为对象中的参数param必须由函数显式调用f，而不是作为字典接收，p。

以前有没有人解决过这个问题？

我正在尝试了解 GPR，并且正在对其进行测试以预测一些值。响应是 PCA 的第一个组成部分，因此它具有相对较好的数据，没有异常值。预测变量也来自 PCA(n=2)，但预测变量列已使用 StandardScaler().fit_transform 标准化，正如我在之前的帖子中看到的那样更好。由于预测变量是标准化的，我使用 RBF 内核并将其乘以 1**2，并让超参数适合。问题是该模型非常适合预测变量，并为测试数据提供几乎恒定的值。该集合是一组 463 个点，无论我为训练数据随机化 20-100 还是 200，添加 Whitekernel() 或 alpha 值，我都会得到相同的结果。我几乎可以肯定我做错了什么，但我找不到什么，有什么帮助吗？这里'

输出 ： GPML kernel: 1**2 * RBF(length_scale=0.000388) + 8.01e-18**2 * RBF(length_scale=2.85e-18)

训练数据：

测试数据和预测：

谢谢大家！！！