问题标签 [linear-regression]

为什么predict函数无法预测年龄 = 15？

由于一个错误（可能在我正在使用的 numpy 发行版中），我无法使用numpy.linalg.lstsq. 而且我发现的每个统计库都没有安装在 python 3 下（在 Windows 上）。

是否有人拥有可以执行多元线性回归的纯 python 3 代码（我只需要测试版）？

如果不是纯 python，我仍然可以尝试，如果代码碰巧没有使用numpy.linalg.lstsq在我的机器上崩溃的相同 C 函数。

谢谢！

问题概要： 在尝试使用 scipy.optimize.fmin_bfgs 最小化（优化）函数时，该函数会抛出一个

derphi0 = np.dot(gfk, pk) ValueError:矩阵未对齐

错误。根据我的错误检查，这发生在通过 fmin_bfgs 的第一次迭代的最后——就在返回任何值或任何回调调用之前。

配置： Windows Vista Python 3.2.2 SciPy 0.10 IDE = 带有 PyDev 的 Eclipse

详细描述： 我正在使用 scipy.optimize.fmin_bfgs 来最小化简单逻辑回归实现的成本（从 Octave 转换为 Python/SciPy）。基本上，成本函数被命名为 cost_arr 函数，梯度下降在 gradient_descent_arr 函数中。

我已经手动测试并完全验证了 *cost_arr* 和 *gradient_descent_arr* 可以正常工作并正确返回所有值。我还进行了测试以验证是否将正确的参数传递给 *fmin_bfgs* 函数。然而，在运行时，我得到了 ValueError：矩阵未对齐。根据来源审查，确切的错误发生在

# Minpack 的 Wolfe 行和标量搜索中的 def line_search_wolfe1 函数，由 scipy 包提供。

值得注意的是，如果我改用scipy.optimize.fmin，fmin函数会运行完成。

确切的错误：

文件“D:\Users\Shannon\Programming\Eclipse\workspace\SBML\sbml\LogisticRegression.py”，第 395 行，在 fminunc_opt

文件“C:\Python32x32\lib\site-packages\scipy\optimize\optimize.py”，第 533 行，在 fmin_bfgs old_fval,old_old_fval)
文件“C:\Python32x32\lib\site-packages\scipy\optimize\linesearch. py"，第 76 行，在 line_search_wolfe1 derphi0 = np.dot(gfk, pk) ValueError：矩阵未对齐

我调用优化函数： optcost = scipy.optimize.fmin_bfgs(self.cost_arr, initialtheta, fprime=self.gradient_descent_arr, args=myargs, maxiter=maxnumit, callback=self.callback_fmin_bfgs, retall=True)

我花了几天时间试图解决这个问题，但似乎无法确定导致 矩阵未对齐错误的原因。

附录：2012-01-08 我在这方面工作了很多，似乎已经缩小了问题的范围（但对如何解决它们感到困惑）。首先，fmin（仅使用 fmin）使用这些函数——成本、梯度。其次，在手动实现（不使用 fmin_bfgs）的单次迭代中测试时，成本和梯度函数都准确地返回预期值。第三，我在optimize.linsearch中添加了错误代码，错误似乎是在def line_search_wolfe1中抛出的：derphi0 = np.dot(gfk, pk)。在这里，根据我的测试， scipy.optimize.optimize pk = [[ 12.00921659] [ 11.26284221]]pk type = 和 scipy.optimize.optimizegfk = [[-12.00921659] [-11.26284221]]gfk type = 注意：根据我的测试时，通过 fmin_bfgs 在第一次迭代时抛出错误（即，fmin_bfgs 甚至从未完成一次迭代或更新）。

我感谢任何指导或见解。

我的代码如下（记录，文档已删除）：假设 theta = 2x1 ndarray（实际：theta Info Size=(2, 1) Type = ）假设 X = 100x2 ndarray（实际：X Info Size=(2, 100) Type = ）假设 y = 100x1 ndarray（实际：y Info Size=(100, 1) Type = ）

给定相同A的b和 L2 正则化参数beta = 0，为什么要ridge给出\两个不同的解决方案？

我正在尝试使用多个变量（实际上只有 2 个）实现线性回归。我正在使用来自斯坦福大学 ML-Class 的数据。我让它在单变量情况下正常工作。相同的代码应该适用于多个，但是，没有。

链接到数据：

http://s3.amazonaws.com/mlclass-resources/exercises/mlclass-ex1.zip

特征归一化：

我在代码中实现了均值和标准差，而不是使用 NumPy/SciPy。将值存储在文件中后，其快照如下：

X1 X2 X3 COST OF HOUSE

我对其进行回归以找到参数。代码如下：

它打印以下作为参数：

[-3.8697149722857996e-14, 0.02030369056348706, 0.979706406501678]

这三个都是可怕的错误:(完全相同的事情适用于 Single variable 。

谢谢 ！

python中有一个库来做分段线性回归吗？我想自动为我的数据添加多行以获得如下内容：

顺便提一句。我知道分段的数量。

我有一个变量 y1（因变量）、x1、x2、x3（自变量）和每个变量的相关平均值的综合协方差矩阵。如何仅使用协方差矩阵和平均值执行多元回归？

我有一个包含多个变量的大型数据集，其中一个是状态变量，每个状态编码为 1-50。我想对数据集的剩余 27 个变量（总共 55 个变量）进行 28 个变量的回归，并且针对每个州进行回归。

换句话说，对变量 1 在 covariate1、covariate2、...、covariate27 上运行回归，以观察 state==1。然后，我想对状态 2-50 的变量 1 重复此操作，并对变量 2、变量 3、...、变量 28 重复整个过程。

我想我已经编写了正确的 R 代码来执行此操作，但接下来我想做的是提取系数，最好是提取到系数矩阵中。有人可以帮我吗？这是我到目前为止编写的代码：

我对股市数据进行时间序列分析，并尝试实现一种分段线性分割算法，如下所示：

我的时间序列课程如下：

在上述算法中，Ttemp 是时间序列的另一个实例。第 4-12 行的计算用于计算误差。
问题是我无法实现上面的递归和联合部分（第 14 和 15 行）。我不清楚如何递归和合并 MySeries 对象。

** * ** * ** * ***编辑* ** * ** * ** * ** * ** * **

我已经为给定的算法编写了上面的代码..但我不知道它为什么会陷入无限循环..如果有人可以向我提供代码的任何其他设计或修改，我将不胜感激。

考虑以下 R 代码（我认为它最终会调用一些 Fortran）：

为什么摘要返回值？由于 Y 没有变化，这个模型不应该不适合吗？更重要的是，为什么模型 R^2 ~= .5？

编辑

我跟踪了从 lm 到 lm.fit 的代码，可以看到这个调用：

这就是真正适合的地方。查看http://svn.r-project.org/R/trunk/src/appl/dqrls.f）并没有帮助我理解发生了什么，因为我不知道 fortran。