5

我正在尝试使用 Theano 来计算函数相对于向量以及几个标量的粗麻布（编辑：也就是说，我本质上希望将标量附加到我正在计算粗麻布的向量上） . 这是一个最小的例子：

import theano
import theano.tensor as T
A = T.vector('A')
b,c = T.scalars('b','c')
y = T.sum(A)*b*c

我的第一次尝试是：

hy = T.hessian(y,[A,b,c])

哪个失败了AssertionError: tensor.hessian expects a (list of) 1 dimensional variable as 'wrt'

我的第二次尝试是将 A、b 和 c 与：

wrt = T.concatenate([A,T.stack(b,c)])
hy = T.hessian(y,[wrt])

哪个失败了DisconnectedInputError: grad method was asked to compute the gradient with respect to a variable that is not part of the computational graph of the cost, or is used only by a non-differentiable operator: Join.0

在这种情况下计算粗麻布的正确方法是什么？

更新：为了澄清我在寻找什么，假设 A 是一个 2 元素向量。那么 Hessian 将是：

[[d2y/d2A1, d2y/dA1dA2, d2y/dA1dB, d2y/dA1dC],
[d2y/dA2dA1, d2y/d2A2, d2y/dA2dB, d2y/dA2dC],
[d2y/dBdA1, d2y/dBdA2, d2y/d2B, d2y/dABdC],
[d2y/dCdA1, d2y/dCdA2, d2y/dCdB, d2y/d2C]]

对于示例函数，它y应该是：

[[0, 0, C, B],
[0, 0, C, B],
[C, C, 0, A1+A2],
[B, B, A1+A2, 0]]

因此，如果我们要定义一个函数：

f = theano.function([A,b,c], hy)

然后，假设我们可以hy成功计算，我们会期望输出：

f([1,1], 4, 5) = 
    [[0, 0, 5, 4],
    [0, 0, 5, 4],
    [5, 5, 0, 2],
    [4, 4, 2, 0]]

在我的实际应用中，A有25个元素，y比较复杂，但是思路是一样的。

4

2 回答 2

1

如果您b,c作为向量传递，它应该可以工作。hessian 运算符需要一维数组。即使标量也应该起作用，但提供它喜欢的输入类型可能是最简单的。

您的堆叠失败的原因是该stack操作在图的不同分支上产生了一个新的非 endnode 变量，您通常不能明确地对其进行导数。所以 theano 根本不允许这样做。

这对我有用：

import theano.tensor as T
A = T.vector('A')
b,c = T.vectors('b','c')
y = T.sum(A)*b[0]*c[0]

hy = T.hessian(y,[A,b,c])
于 2015-12-14T15:24:31.690 回答
1

根据@eickenberg 提出的在 numpy 级别组合输入的建议，我使用了以下解决方法：

import theano
import theano.tensor as T

A,temp = T.vectors('A','T')
b,c = T.scalars('b','c')

y = T.sum(A)*b*c
y2 = theano.clone(y,{A:temp[:-2],b:temp[-2],c:temp[-1]})

hy = T.hessian(y2,[temp])
f = theano.function([temp], hy)

f([1,1,4,5])

给出预期的输出：

> [array([[ 0.,  0.,  5.,  4.],
>         [ 0.,  0.,  5.,  4.],
>         [ 5.,  5.,  0.,  2.],
>         [ 4.,  4.,  2.,  0.]])]

这可行，但感觉相当尴尬，如果有人知道更好（更通用）的解决方案，请告诉我。

于 2015-12-14T19:49:12.780 回答