问题标签 [hessian-matrix]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
361 浏览

sas - SAS中的黑森州?

有没有办法在 SAS 的 proc 逻辑中获取 Hessian 矩阵?或者哪个选项可以计算它从 proc 逻辑的出发?

我一直在阅读函数文档,但看不到有办法将它包含在输出表中。

0 投票
1 回答
1380 浏览

python - 从 L-BFGS-B 中检索近似 Hessian 逆

使用 scipy 中的 L-BFGS-B 最小化器,是否可以检索内部计算的近似逆 Hessian 矩阵?

将其设为隐式分解形式,以便可以计算任意逆 Hessian 矩阵 - 向量积,就可以了。

0 投票
1 回答
5224 浏览

matlab - 如何使用 Hessian 矩阵找到脊

我想找到给定图像的脊。(山脊不是边缘!)一个例子如下图所示 在此处输入图像描述

我认为 Hessian 矩阵可以直观地工作。因此,我从 2D-Gaussian 方程开始对 Hessian 矩阵内核进行硬编码,如下所述的链接。 如何构建 2D hessian 矩阵内核

surf用来可视化我创建的 3 个二阶导数内核(D_xx、D_yy 和 D_xy),它们看起来都正确。在此处输入图像描述

然后我应用这些内核并对我的图像进行 2D 卷积。

我不确定下一步该做什么,是否需要使用 D_xx、D_yy 和 D_xy 来表示特征值和向量?我们如何使用每个像素的 2×2 矩阵的特征分析从图像中提取脊线?任何想法、公式甚至代码都会很有帮助。

附上生成2D Hessian矩阵的代码

0 投票
1 回答
77 浏览

machine-learning - 反向传播:解析二阶导数值得计算吗?

我理解我们通常不使用二阶导数信息的原因是,Hessian 可能非常大,层数和权重更多,导致计算成本高,因此首选无 Hessian 方法。我的问题是,文献中提到的计算费用是否是假设二阶导数是以数值方式计算的结果?因此,如果取而代之的是,被评估的目标函数产生了简洁的解析二阶导数,那么即使有大量隐藏层,基于牛顿的方法是否可以在计算上易于处理以估计 ANN 参数?还是纯粹是 Hessian 的大小 - 以及为更新算法(!)反转它的需要/费用 - 这是使用基于梯度的方法的决定因素?

0 投票
1 回答
1387 浏览

matlab - 使用 Hessian 提供 fmincon

我试图通过提供梯度向量和 Hessian 矩阵来帮助 fmincon 更快地收敛。我正在使用内点算法,并且我意识到在这种情况下,我必须使用对分配给我的 OPTIOINS 的 HessFcn 的另一个函数的调用来提供 Hessian。我还意识到 fmincon 的 Hessian 是拉格朗日的二阶导数,如等式14-1 中所述。我应该在计算粗麻布时使用以下函数定义来访问我的拟合参数和 lambda

从这一点开始,我在弄清楚程序方面遇到了一些困难。虽然我的问题有线性约束和上下限,但 lambda 结构是空的,即每当我尝试从 hessianfcn 访问它时,它都会返回:

知道如何解决这个问题吗?

PS 我按照这里给出的说明进行操作,直到我故意用一些随机线性约束替换非线性约束,然后我将再次遇到同样的问题(空 lambda 结构)。

0 投票
2 回答
2623 浏览

scipy - scipy 优化最小化:hess_inv 强烈依赖于初始猜测

我正在使用scipy.optimize.minimize最小化一个简单的对数似然函数。Hessian 矩阵似乎表现不佳。

如果最初的猜测是最小的,那么迭代不会去任何地方。就参数值而言,这很好,但它也不会触及 Hessian(仍然是身份),所以我不能将它用于不确定性估计。

如果我稍微改变最初的猜测,它似乎会返回一个明智的 hess_inv。

但是,hess_inv 对初始猜测非常敏感。

改变最初的猜测多一点

我错过了什么?这是错误还是功能?

0 投票
1 回答
7440 浏览

r - 使用 R 进行 ARIMA 建模的奇怪案例

在使用 R 中的函数arma{tseries}arima{stats}拟合 ARMA 模型时,我观察到了一些奇怪的事情。

这两个函数采用的估计程序存在根本差异,arima{stats} 中的 Kalman 滤波器与 arma{tseries} 中的 ML 估计相反。

鉴于这两个函数在估计过程中的差异,如果我们使用相同的时间序列,我们不会期望这两个函数的结果完全不同。

好吧,他们似乎可以!

生成以下时间序列并添加 2 个异常值。

使用两个函数拟合 ARMA 模型。

将时间序列的水平改变 10 亿倍

使用 2 个函数拟合 ARMA 模型:

我发现这个问题的地方是 SAS 软件能够成功运行 proc x12 程序来进行季节性测试,但是 R 上的相同功能给了我上面的错误。这让我真的很想知道并怀疑地看待 SAS 结果,但事实证明,这可能只是与 arima{stats} 有关。

任何人都可以尝试详细说明上述错误的原因,这限制了我们使用 arima{stats} 来拟合模型吗?

0 投票
1 回答
1820 浏览

matlab - 符号向量函数的Matlab梯度和hessian计算

我正在尝试使用 Matlab 的“梯度”和“hessian”函数来计算符号向量函数相对于向量的导数。下面是使用 sigmoid 函数 1/(1+e^(-a)) 的示例,其中 a 是特征向量乘以权重。以下版本均返回错误。我是 Matlab 的新手,非常感谢任何建议。文档中的解决方案可能在我的眼皮底下,但我无法解决问题。预先感谢您的帮助!

0 投票
1 回答
936 浏览

python - 如何使用 theano.gradient.hessian?需要示例

我尝试了下面的代码:

然后我使用以下真实值运行它

然后我遇到了以下错误

我是 python 新手,正在探索 Theano 来构建神经网络。

0 投票
1 回答
359 浏览

java - BoofCV / Java - 用高斯卷积构造图像的 Hessian 矩阵

我想建立一个灰度图像的 Hessian 矩阵,但我需要计算二阶导数。我正在使用BoofCV,我发现了一个计算一阶的函数:

我使用作为输入参数“sigma”(标准偏差)。是否有函数或其他方法可以使用输入 sigma 和灰度图像计算二阶导数?

我对其他 Java CV 库建议持开放态度。