optimization - 稀疏最小二乘回归工具

Question

我想用几十万个例子做稀疏的高维（几千个特征）最小二乘回归。我很高兴使用非花哨的优化——随机梯度下降很好。

有谁知道任何已经为此实现的软件，所以我不必自己写信？

亲切的问候。

Answer 1

虽然我不确定，但这让我觉得LAPACK（线性代数包）能够提供支持。他们通常对大型矩阵数学感兴趣，包括稀疏矩阵和核外大小。基本版本是 FORTRAN，但有 C 和其他语言的库端口。

由于 LAPACK 的许多底层调用使用 BLAS（基本线性代数子程序），您可能还想查看Sparse BLAS。

Answer 2

我很确定R 包可用于解决此类问题。它非常强大和灵活。从该页面链接的许多在线资源。

Answer 3

我建议看看LAPACK。它是一个非常成熟的线性代数库，虽然与它的接口可能有点棘手，因为它是用 Fortran 编写的。不过，这很好，因为 Fortran 与 C 的 ABI 兼容，如果你的函数原型正确的话。

[编辑] 经过进一步审查，LA​​PACK 似乎不支持稀疏矩阵。它可以出于某些目的处理带状矩阵，但对于线性最小二乘问题，它只支持一般矩阵。