我正在尝试在 python 中实现 tSNE 算法。我正在使用 autograd 包来计算梯度,而不是通常使用的解析梯度。
但我无法根据需要计算梯度。我是 ML 新手,正在尝试使用 autograd 和其他框架。
所以,这是我的方法。我首先计算相似度矩阵 P。然后在计算损失的同时计算低维亲和度矩阵 Q。这是我的代码 -
def compute_kl_loss(Y, P, n):
loss = 0
for i in range(n):
qij = 1 / (1 + np.sum((Y[i,:] - Y)**2),1)
for j in range(n):
loss += P[i,j]* np.log(P[i,j]) - P[i,j]*np.log(qij)
return loss
def get_grad(Y, P):
n = Y.shape[0]
loss_kld = lambda Y: compute_kl_loss(Y, P, n)
gradY = grad(loss_kld)
dY = gradY(Y).
但这种方法似乎不起作用。我收到以下错误 -
File "tsne.py", line 130, in compute_kl_loss
qij = 1 / (1 + np.sum((Y[i,:] - Y)**2),1)
TypeError: unsupported operand type(s) for /: 'int' and 'tuple'
请告诉我如何纠正这个问题。我的方法是正确的吗?或者有更好的方法吗?
谢谢你。