问题标签 [convergence]

我在 Python 中实现了一个单变量线性回归模型，它使用梯度下降来找到最佳拟合线的截距和斜率（我使用梯度下降而不是直接计算截距和斜率的最佳值，因为我' d 最终喜欢推广到多元回归）。

我使用的数据如下。sales是因变量（以美元为单位）并且temp是自变量（摄氏度）（想想冰淇淋销售与温度，或类似的东西）。

这是我标准化后的数据：

我的算法代码：

我无法准确理解是什么让算法收敛与完全错误的返回值。给定learnrate = .01、tolerance = .0000000001和max_iter = 10000，结合归一化数据，我可以让梯度下降算法收敛。但是，当我使用未归一化的数据时，我可以在没有算法返回的情况下使学习率最小NaN为.005. 这使得成本函数从迭代到迭代的变化下降到大约614，但我不能让它变得更低。

这种算法绝对需要标准化数据吗？如果是，为什么？x-value此外，考虑到算法需要标准化值，将非标准化形式的小说插入点预测的最佳方法是什么？例如，如果我要将这个算法交付给客户，以便他们可以做出自己的预测（我不是，但为了争论..），我不希望他们能够简单地插入在未归一化x-value？

总而言之，玩弄tolerance, max_iter, 并learnrate在大多数情况下给我非收敛的结果。这是正常的，还是我的算法中存在导致此问题的缺陷？

我似乎找不到它，或者我的统计知识及其术语可能是这里的问题，但我想实现类似于PyPI 的 LDA lib底部页面上的图表并观察一致性/收敛性线。如何使用Gensim LDA实现这一目标？

我正在尝试使用 SciPy 优化最小化函数来最小化多元函数。我用来调用函数的代码：

score_gradient计算分数和雅可比/梯度。对雅可比/梯度进行了数字检查。计算后在命令行中打印的分数，我在命令行中看到以下内容：

正如您所看到的，有一个计算给出了相同的结果，而另一个则按预期最小化了分数。但是这个函数在这个计算中停留了半天以上，而在 MATLAB 中这个计算只需要几个小时。我知道 MATLAB 可能使用了不同的优化算法。有人看到了这种行为并且可以指出我做错了什么？

我正在使用 pacage ghyp 的函数 fit.ghypuv 并且它不收敛。它给了我错误代码1（如下）有人知道这个错误是什么意思以及可能导致它的原因吗？[错误代码]

谢谢！

我正在训练一个双向 LSTM 网络，但是当我训练它时，我得到了如下信息：

即使迭代次数为 50 0000，损失和准确率也几乎相同。我的设置如下：

这是技术问题还是方案问题？

我正在使用带有 BFGS 方法的 optimx 并且初始点不同。我已经注意到它收敛于它们不是最优的点。有人可以向我解释这个问题是如何解决的吗？在此先感谢您的时间。

是否有一些简单和强凸函数的例子，其中 Nesterov 加速梯度法的收敛界优于 Nesterov 强凸情况下的界​​，(sqrt(1 - 1 / sqrt(k)))而比 Nesterov 二次界更差(1 - 1/ sqrt(k))。

其中，K = L/m表示条件比

我正在尝试解决优化问题并使用 package GenSA。我正在寻找此函数中定义参数的公差限制，但似乎无法定义。

如果目标函数的值在 2 个步骤中没有改变 1000 个单位，我希望优化停止。其他函数喜欢nloptr并rgenoud允许将此类公差限制作为参数传递，但我无法在此函数中找到此类参数。

我注意到其中的GenSAusesconstrOptim并且我尝试更改参数outer.eps，但这无助于达到目的。

有人可以建议在这里可以做什么吗？

我对处理文本数据相当陌生。

我有一个包含大约 300,000 个唯一产品名称的数据框，我正在尝试使用 k 方法将相似的名称聚集在一起。我使用 sklearn 的 tfidfvectorizer 对名称进行矢量化并转换为 tf-idf 矩阵。

在将其转换为稀疏矩阵后，我将 k 均值与 5-10 个集群拟合，但我不知道我是否正在收敛。

我怎么能弄清楚这个？

我正在寻找以下问题的名称和有效解决方案：假设我有一个字符串s='abcdef'和一组查找/替换规则Pn

依次将这些规则应用于s我可以得到以下字符串：

我的目标是达到一个“稳定”状态，其中所有（大多数？）规则都已应用（此处：）123dxy。

所以我的问题是，是否有一种定义明确的方法来处理这类问题？规则上是否存在避免无限循环的一般约束（例如，ab -> xy，xy -> ab）。有没有办法确定最大迭代次数的界限？

任何指向相关概念/相关工作的指针都表示赞赏。