0

我想了解贝叶斯 GPLVM 实现在 GPflow 中是如何工作的，但我正在努力处理几行代码。我将不胜感激任何帮助我解决以下问题：

  1. 我了解gplvm.py第 178 行中的矩阵 B ：

B = AAT + tf.eye(num_inducing, dtype=default_float())

对应于方程式中的 $\beta\Psi_2 + K_{MM}$。14 Titsias 和劳伦斯 2010 年。但是，我不明白代码是如何实现这个表达式的。

  1. 与上一个问题相关，我无法理解gplvm.py第 175-181 行中的 A、tmp、AAT 和 c 是什么意思？
A = tf.linalg.triangular_solve(L, tf.transpose(psi1), lower=True) / sigma
tmp = tf.linalg.triangular_solve(L, psi2, lower=True)
AAT = tf.linalg.triangular_solve(L, tf.transpose(tmp), lower=True) / sigma2
B = AAT + tf.eye(num_inducing, dtype=default_float())
LB = tf.linalg.cholesky(B)
log_det_B = 2.0 * tf.reduce_sum(tf.math.log(tf.linalg.diag_part(LB)))
c = tf.linalg.triangular_solve(LB, tf.linalg.matmul(A, Y_data), lower=True) / sigma

我猜代码正在使用矩阵求逆引理，但我看不出如何。

  1. 在等式。14 来自Titsias 和 Lawrence 2010，有三个术语我无法理解它们是如何在gplvm.py中计算的：

    • 0.5 \beta^2 y_d^T \Psi_1 (\beta\Psi_2+K_{MM})^{-1} \Psi_1^T y_d （这个公式出现在公式14下面的W表达式中）
    • 0.5 D \beta Tr(K_{MM}^{-1} \Psi_2)
    • 0.5 D \log |K_{MM}|

我将不胜感激任何提示。

真诚地，华金

4

1 回答 1

0

计算 elbo gplvm.py 的代码非常优雅和高效。如果有人想了解它，我会在下面回答我之前的问题，并发布进一步的注释。

  1. 我了解 gplvm.py:182 中的矩阵 B：

B = AAT + tf.eye(num_inducing, dtype=default_float())

对应于方程式中的 $\beta\Psi_2 + K_{MM}$。Titsias and Lawrence 2010 的第 14 页。但是，我不明白 gplvm 代码如何实现论文中的表达式。

调用矩阵 $\beta\Psi_2 + K_{MM}$ 在等式。Titsias 和 Lawrence 2010 的第 14 项（即 TL10）为 D。在 gplvm.py 中，该矩阵计算为 D=LBL，其中 B 是上面给出的矩阵（即 B=AAT+I），L 是 K_ 的 Choleskly 因子{毫米}。

  1. 与上一个问题相关，我无法理解代码中的 A、tmp、AAT 和 c 是什么意思？

A = tf.linalg.triangular_solve(L, tf.transpose(psi1), lower=True) / sigma tmp = tf.linalg.triangular_solve(L, psi2, lower=True) AAT = tf.linalg.triangular_solve(L, tf .transpose(tmp), lower=True) / sigma2 B = AAT + tf.eye(num_inducing, dtype=default_float()) LB = tf.linalg.cholesky(B) log_det_B = 2.0 * tf.reduce_sum(tf.math. log(tf.linalg.diag_part(LB))) c = tf.linalg.triangular_solve(LB, tf.linalg.matmul(A, Y_data), lower=True) / sigma

我猜代码正在使用矩阵求逆引理，但我看不出如何。

该代码不使用矩阵求逆引理。

方程式中的数据项。TL10 的 14，（即指数中的项）是通过取向量 c 的 norm2 的平方来计算的。

AAT 是出现在 TL10 中 Eq.~14 中最后一项的迹线内的矩阵（即 $K_{MM}^{-1)\Psi_2)$）。

  1. 在等式。14 来自 Titsias 和 Lawrence，2010 年，有三个术语我无法理解它们是如何计算的：>

    • 0.5 \beta^2 y_d^T \Psi_1 (\beta\Psi_2+K_{MM})^{-1} \Psi_1^T y_d

    • 0.5 D \beta Tr(K_{MM}^{-1} \Psi_2)

    • 0.5 D \log |K_{MM}|

如上所述，第一项通过取向量 c 的 norm2 的平方来计算，第二项通过取 AAT 的迹来计算。等式中两个对数行列式的减法。TL10（和第三项）的 14 是通过取 log |B| 计算的。

一段漂亮的代码。谢谢。

于 2021-04-27T13:10:16.770 回答