问题标签 [loess]

产生相同 NaN 错误的数据子集：

我有一个数据矩阵，我想规范化其中的数组，我使用了以下代码：

我得到了这个错误：

警告消息：在 normalize.loess(sample, subset = 1:nrow(sample)) 中：产生了 NaN

对于更大的数据集，我也遇到了以下错误，但我认为问题的根源是 NaN 值的产生：

simpleLoess(y, x, w, span, degree, parametric, drop.square, normalize, : NA/NaN/Inf in foreign function call (arg 1) 另外：警告消息：在 normalize.loess(data.matrix , 子集 = 1:nrow(data.matrix)) ：产生的 NaN

有没有人遇到过这个？

我正在尝试分析一个非常大的数据集（超过 1000 万行；好的，这在我的领域中很大）。我正在尝试使用以下命令生成平滑回归图：

这已经运行了一天多，但在一个核心上（让其他 7 个相当无聊）。有什么方法可以将 ggplot2 与多个线程一起使用以加快速度？局部回归似乎对于这种事情来说是很自然的。

我将如何计算 Python 中 LOWESS 回归的置信区间？我想将这些作为阴影区域添加到使用以下代码创建的 LOESS 图中（statsmodels 以外的其他包也可以）。

我在下面的博客严重统计中添加了一个带有置信区间的示例图（它是使用 R 中的 ggplot 创建的）。

我使用 R 编程语言的库方法loess进行非参数数据拟合。数据集是二维的。我还没有找到任何适当的方法参数文档weights。

我的数据点是正态分布的随机变量，我也估计了它们各自的标准差。我想知道该参数是否weights允许我向 R 提供标准偏差的详细信息。换句话说：我想知道中的各个权重是否weights是（相对）数据质量的度量，因此如果通过参数 提供某些数据不确定性度量，则可以改进拟合weights。

编辑：我怀疑在weightsLOESS 过程中的条目被用作局部数据集的加权最小二乘回归中的权重（可能作为（位置相关的）核函数的附加权重预因子？）。这表明对于独立的正态分布随机变量的数据点，但仍然具有不同的噪声水平（即不同的标准偏差）（如我的情况），权重应选择为1/\sigma_{i}^2，其中\sigma_{i}的标准偏差为各自的随机变量/数据点。如果有人肯定知道，那将是很高兴知道。

我loess用来在各个图的测量日期之间插入数据。我想获得每年所有 48 个地块的每日分辨率。以下是我的数据集中的一个示例：

结构（list = C（2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L，2012L 2012L), 朱利安 = c(150L, 153L, 157L, 165L, 173L, 179L, 186L, 193L, 201L, 208L, 226L, 150L, 153L, 157L, 165L, 173L, 179L, 186L, 1908L, 226L, 22, ), jdx = c(2.573770492, 2.625245902, 2.693879781, 2.831147541, 2.968415301, 3.07136612, 3.19147541, 3.311584699, 3.448852459, 3.568961749, 3.877814208, 2.573770492, 2.625245902, 2.693879781, 2.831147541, 2.968415301, 3.07136612, 3.19147541, 3.311584699, 3.448852459, 3.568961749, 3.877814208) , 站点 = 结构 (c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L ), .Label = "east", class = "factor"), type = structure(c(1L, 1L, 1L, 1L, 1L,1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L), .Label = "b", class = "factor"), trt =结构（c（1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L）， .Label = "a", class = "factor"), plot = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), vi = c(0.41, 0.44, 0.52, 0.64, 0.66, 0.67, 0.64, 0.66, 0.61, 0.7, 0.7, 0.41, 0.45, 0.55, 0.61, 0.63, 0.6 , 0.63, 0.64, 0.6, 0.7, 0.69)), .Names = c("year", "julian", "jdx", "site", "type", "trt", "plot", "vi") , class = "data.frame", row.names = c(NA, -22L))b", class = "factor"), trt = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L), .Label = "a", class = "factor"), plot = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L , 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), vi = c(0.41, 0.44, 0.52, 0.64, 0.66, 0.67, 0.64, 0.66, 0.61, 0.7, 0.7, 0.41, 0.45, 0.55, 0.61, 0.63, 0.66, 0.63, 0.64, 0.6, 0.7, 0.69)), .Names = c("year", "julian", "jdx", "site", "type", " trt"、"plot"、"vi")、class = "data.frame"、row.names = c(NA, -22L))b", class = "factor"), trt = structure(c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L), .Label = "a", class = "factor"), plot = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L , 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), vi = c(0.41, 0.44, 0.52, 0.64, 0.66, 0.67, 0.64, 0.66, 0.61, 0.7, 0.7, 0.41, 0.45, 0.55, 0.61, 0.63, 0.66, 0.63, 0.64, 0.6, 0.7, 0.69)), .Names = c("year", "julian", "jdx", "site", "type", " trt"、"plot"、"vi")、class = "data.frame"、row.names = c(NA, -22L))类=“因子”），绘图= c（1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，2L，2L，2L，2L，2L，2L，2L，2L，2L , 2L, 2L), vi = c(0.41, 0.44, 0.52, 0.64, 0.66, 0.67, 0.64, 0.66, 0.61, 0.7, 0.7, 0.41, 0.45, 0.55, 0.61, 0.63, 0.66, 0.63, 0.64, 0.63, 0.64, 0.7, 0.69)), .Names = c("year", "julian", "jdx", "site", "type", "trt", "plot", "vi"), class = "data.frame ", row.names = c(NA, -22L))类=“因子”），绘图= c（1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，1L，2L，2L，2L，2L，2L，2L，2L，2L，2L , 2L, 2L), vi = c(0.41, 0.44, 0.52, 0.64, 0.66, 0.67, 0.64, 0.66, 0.61, 0.7, 0.7, 0.41, 0.45, 0.55, 0.61, 0.63, 0.66, 0.63, 0.64, 0.63, 0.64, 0.7, 0.69)), .Names = c("year", "julian", "jdx", "site", "type", "trt", "plot", "vi"), class = "data.frame ", row.names = c(NA, -22L))“类型”、“trt”、“绘图”、“vi”）、class = “data.frame”、row.names = c(NA, -22L))“类型”、“trt”、“绘图”、“vi”）、class = “data.frame”、row.names = c(NA, -22L))

我需要在收集的数据的三个季节（2012 - 2014 年）的每一季中插入每个地块的数据。subset我已经通过使用该功能成功地做到了这一点。请注意，我使用的是朱利安日期，但我并不特别喜欢这种日期格式。

问题：有没有一种方法可以自动化代码来插入来自每个情节/年份组合的数据，而不必对每个情节/年份组合进行子集化？我正在考虑nlsList使用| year/site/type/trt/plot设计的功能。

我的第二个问题涉及predict功能。以下代码成功显示了上面指定图的拟合 vi 值。

但是，相应的 x 值与原始儒略日期不同。
问题：如何获得预测值来表示黄土模型中使用的儒略日期？请注意，这些日期可能因每年/情节而异。

我正在尝试根据y序列绘制一个具有 604800 点的向量： x=seq(from=1, to=604800)。这不是问题，但我确实需要在图中添加一条黄土曲线。

我已经尝试过使用ggplot2，但这需要很长时间，并且在绘制大型数据集方面出了名的糟糕。参见 R 代码：

我现在尝试使用该base软件包，但这也需要很长时间：

还有其他人对我可以做些什么来加快运行速度有什么建议吗？我必须多次这样做，到目前为止已经为一个情节等待了大约 15 分钟，但仍未完成。

如果我尝试使用经过 30000 次观察训练的 LOESS 模型来预测标准误差，我会得到一个内存错误Error: cannot allocate vector of size 6.7 Gb。但是，我真的需要这个来进行绘图。可悲的是，我需要使用 LOESS 来span=1改变方法，否则这个参数不是一个选项。如何防止代码引发错误？

我在下面创建了一个 MWE：

这是我在 StackOverflow 中的第一个问题，所以我希望能做对......

我试图用两个预测变量拟合一个黄土模型，其中一个是局部加权的，另一个是参数的。拟合模型后，我想在参数预测器上获得回归线的斜率，以非参数预测器的某个值为条件。当用回归线中的任何两个值计算这个斜率时，我应该得到一个与斜率相对应的常数值。但是，如果我用每两个连续值计算斜率，我会得到一条类似于抛物线的曲线。在这里，您有一些用于展示此问题的代码：

好吧，如果你运行这段代码，你会得到我所说的（接近）抛物线图。在我看来，这很奇怪。有人可能认为这是由于量化误差造成的，但我对此表示怀疑，因为它会在某种程度上是随机的，而且值要小得多。我可能弄错了，但我认为情节应该显示一条恒定的线。另一方面，我也尝试过更改黄土模型的参数，但问题似乎仍然存在。我希望有人可以帮助我，我在论坛中搜索过这个主题并没有找到任何类似的问题。

非常感谢你。

In the R default plotting, users can change the f index to vary the smoothing level of loess regression (high f means high smooth). I did the loess regression with ggplot2 stat_smooth with the following command:

How can I change the smoothing level of loess regression in ggplot2? I searched around but could not find the answers. Could anyone help here?

嗨，我在这里寻找一些澄清。

上下文：我想在散点图中画一条不显示参数的线，因此我在 ggplot 中使用 geom_smooth()。它会自动返回geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the smoothing method.我收集 gam 代表广义加法模型，并使用三次样条。

以下认识是否正确？

-Loess 估计特定值的响应。

-样条是连接适合数据的不同分段函数的近似值（构成广义加法模型），三次样条是此处使用的特定类型的样条。

最后，什么时候应该使用样条，什么时候应该使用黄土？