问题标签 [downsampling]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
157 浏览

opentsdb - 如何在 Bosun 中使用 win.disk.duration 或如何对计数器类型指标进行下采样?

我正在使用 Bosun 收集有关硬盘平均响应时间的信息 ( win.disk.duration),它会生成如下图:

在此处输入图像描述

我知道这是显示 WMI 报告值的变化率,AvgDiskSecPerRead.

我想要做的是对这个计算值进行下采样,在一段时间内取最大值。Max但是,如果我设置一个带有窗口的下采样,5m我会得到:

在此处输入图像描述

注意 Y 轴刻度的变化。

如何降低采样率以获得我期望的结果(或者为什么我所要求的没有意义)?

0 投票
5 回答
85 浏览

r - 如何以表示 R 中原始向量的一般形状的方式对向量进行子集化

我有不同大小的向量,我想对它们进行平均采样(例如每个向量的 10 个样本),以这些样本代表每个向量的方式。

假设我的向量之一是

这个向量的 10 个代表点是什么?

0 投票
3 回答
1203 浏览

python - 使用 Pandas 对数据帧的特定周期进行下采样

我有一个从 1963 年开始到 2013 年结束的长时间系列。但是,从 1963 年到 2007 年,它有一个每小时的采样周期,而 2007 年之后的采样率变为 5 分钟。是否可以在 2007 年之后以整个时间序列每小时数据采样的方式重新采样数据?数据切片如下。

谢谢!

0 投票
0 回答
1118 浏览

python - 对熊猫数据框进行下采样-“下采样”列和行?

不幸的是,我无法分享该问题的工作示例,因为我不知道是什么原因造成的。但是,我已经将虚拟代码放在一起,显示了我的 DataFrame 的结构以及我正在尝试做的下采样:

示例代码:

我的数据框结构

我的实际 DataFrame 有.shape(18051, 17)。

重采样:

由此,我尝试.resample使用以下代码按月计算:

虚拟数据按预期工作:

我的数据框按月

我的实际 DataFrame 返回.shape(593, 3 )。

笔记:

  • 返回的三列似乎总是相同的三列(来自相同的department
  • 按字母顺序排序时,返回列不是第一列或最后一列
  • 删除多索引 ( df.columns = ' '.join(col).strip() for col in df.columns.values]) 无效

在 JoeCondron 的评论之后更新:

运行[df.iloc[:,i].apply(type).value_counts() for i in range(df.shape[1])]给出以下内容-“第 4 部门”是我在...中返回的三列.resample()...我看到它们是唯一float没有跟随的列<class 'decimal.Decimal'>-这看起来像是确凿的证据,但我不明白它们之间的差异......我会认为它们都是数字它们都可以重新采样?(注意:这是通过 Django 响应)

0 投票
1 回答
1587 浏览

statistics - 从非均匀数据创建均匀分布的示例

给定一个具有非均匀分布(高峰值)的数据集,我想重新采样以创建一个具有近似均匀分布的新数据集。我的做法:

  1. 将数据划分为 bin。
  2. 目标 bin 级别 = 所有 bin 中每个 bin 的最小样本数。
  3. 随机删除样本,直到每个 bin 计数 = 目标 bin 级别。

有没有更好的技术?

0 投票
0 回答
38 浏览

matlab - 加快读取和抽取大型数据文件

我有一些相当简单的代码,它读取一些信号数据,抽取它,并将每次迭代附加到一个单元格。数据文件的大小通常为 20 - 100 GB,因此我无法将整个内容读入内存。

我的给定采样率的代码示例sR

所以这段代码将读入 10 个 120/2 秒的数据块。理想情况下,我想阅读整个文件,因为减少 2^10 非常激进。只是需要这么长的时间。

我想知道将我的wave变量转换为复数是否是一项非常繁重的操作。

读取大块数据与读取小块数据有什么优势吗?我可以以某种方式潜在地并行化这段代码吗?

谢谢

0 投票
1 回答
462 浏览

r - R:在保持分辨率的同时对 JPEG 进行下采样?

我知道有jpeg可以处理 JPEG 图像的 R 包。在我的工作流程中,有一个步骤我想在保留原始像素分辨率的同时对图像进行下采样。

例如,以下是我用 GIMP 快速制作的 640x480 JPEG: 在此处输入图像描述

我还保存了它的 320x240 版本:

在此处输入图像描述

如您所见,320x240 版本更小,看起来也更小。

但是,有没有办法以编程方式使用该jpeg包或另一个 R 包来“下采样”图像,使其保持 640x480(或任何其原始像素尺寸),但要让它看起来像 320x240 版本“放大”到 640x480 尺寸??(是的,这意味着它可能看起来像素化)

谢谢!

编辑:需要明确的是,我并不是专门谈论 DPI 的东西。我说的是下采样但上采样回原始分辨率。我可以使用哪些功能和包来实现这一点?

0 投票
0 回答
260 浏览

pandas - 如何使用熊猫优化自定义下采样?

我有大量的测量数据(日期时间、温度),我需要在使用散景绘图之前对其进行下采样(以保持流畅的用户界面)

因为我想看到不规则的物理现象,所以我不能只对数据重新采样或在 4(或 10)上取一个样本。我需要一个更聪明的方法来判断是否必须保留样本。

我的想法是取一个参考样本,只要它们靠近参考样本(在参考样本值周围的窗口内),就丢弃以下样本。当一个样本出窗时,它会被保留,并成为后续样本的新参考样本。我会得到一个没有频率的数据集,但我认为这不是问题。

下面的代码是我的自定义/模糊下采样的实现,它可以很好地复制我的数据行为。

此代码正在运行,但速度很慢:

窗户我玩不了太多,因为它关系到测温精度。

我的样本量目前是 300000,但在不久的将来可能会增加到几百万。

你知道如何优化/加速这段代码吗?

也许您有其他想法如何进行具有物理意义的下采样?

也许有直接使用散景服务器的解决方案?理想情况下取决于用户的缩放?

0 投票
0 回答
1061 浏览

python - 在Python中重采样和过滤到相同频率的数据

我正在处理每天以 32hz 出现的大量数据。我们希望将数据过滤到 .5hz(编辑:问题最初指定为 1hz,根据建议进行了更改)并将其采样到 1hz。我正在使用 signal.resample 进行下采样,并使用带有 signal.butter 过滤器的 signal.filtfilt。然而,在执行这两项操作后,FFT 显示信号在 0.16hz 左右下降。

你过滤的顺序比下采样重要吗?跟手续有关系吗?我不理解这些方法吗?

我包含了我认为相关的数据

FFT的图片:

原始数据(4hz 尖峰由于其他频率泄漏):
原始数据(4hz 尖峰由于其他频率泄漏)

过滤后:
过滤后

重采样后:
重采样后

编辑:调整到 0.5hz 的过滤器后,会出现同样的问题。我现在想知道我如何显示我的 FFT 是否有问题。我已经包含了我用来显示图表的快速绘图。

0 投票
3 回答
57 浏览

android - 为所有密度提供图像资源的最有效方法是什么?

是否可以为 Android 中的所有密度(LDPI、MDPI、HDPI ......)提供图像资源,并且系统可以为每个设备选择合适的资源,或者只提供高分辨率的图像资源并将它们缩小到更有效分辨率较低的设备?最后一种情况,是系统自己做下采样,还是会导致很多OutOfMemory错误,性能变慢。另一方面,您可以使用提供 Android SDK 的正确类对图像进行下采样,但是每次加载应用程序时都必须进行下采样吗?任何帮助将不胜感激。