data-mining - 分析噪声数据

Question

我最近发射了一枚带有气压高度计的火箭，该高度计精确到大约 10 英尺（通过飞行期间获取的数据计算）。记录的数据以每个样本 0.05 秒的时间增量进行，并且在整个飞行过程中缩小时，高度与时间的关系图看起来非常相似。

问题是当我尝试从数据中计算其他值（例如速度或加速度）时，测量的准确性使计算值变得毫无价值。我可以使用哪些技术来平滑数据，以便计算（或近似）速度和加速度的合理值？重要的是要及时保留重大事件，最值得注意的是第一次进入的 0 和飞行期间的最高点 (2707)。

高度数据如下，并以地面以上英尺为单位测量。第一次为 0.00，每个样本在前一个样本之后 0.05 秒。飞行开始时的尖峰是由于起飞过程中发生的技术问题，去除尖峰是最佳的。

我最初尝试使用线性插值，对附近的数据点进行平均，但需要多次迭代才能使数据平滑到足以进行积分，并且曲线的平坦化消除了重要的远地点和地面事件。

非常感谢所有帮助。请注意，这不是完整的数据集，我正在寻找有关更好方法分析数据的建议，而不是让某人回复转换后的数据集。最好在未来的火箭上使用一种算法，该算法可以在不知道完整飞行数据的情况下预测当前的高度/速度/加速度，尽管这不是必需的。

score 8 · Accepted Answer

这是我的解决方案，使用卡尔曼滤波器。如果您想或多或少地平滑，您将需要调整参数（甚至 +- 数量级）。

#!/usr/bin/env octave

% Kalman filter to smooth measures of altitude and estimate
% speed and acceleration. The continuous time model is more or less as follows:
% derivative of altitude := speed
% derivative of speed := acceleration
% acceleration is a Wiener process

%------------------------------------------------------------
% Discretization of the continuous-time linear system
% 
%   d  |x|   | 0 1 0 | |x|
%  --- |v| = | 0 0 1 | |v|   + "noise"
%   dt |a|   | 0 0 0 | |a|
%
%   y = [1 0 0] |x|     + "measurement noise"
%               |v|
%               |a|
%
st = 0.05;    % Sampling time
A = [1  st st^2/2;
     0  1  st    ;
     0  0  1];
C = [1 0 0];

%------------------------------------------------------------
% Fine-tune these parameters! (in particular qa and R)
% The acceleration follows a "random walk". The greater is the variance qa,
% the more "reactive" the system is expected to be, i.e.
% the more the acceleration is expected to vary
% The greater is R, the more noisy is your measurement instrument
% (less "accuracy" of the barometric altimeter);
% if you increase R, you will smooth the estimate more
qx = 1.0;                      % Variance of model noise for position
qv = 1.0;                      % Variance of model noise for speed
qa = 50.0;                     % Variance of model noise for acceleration
Q  = diag([qx, qv, qa]);
R  = 100.0;                    % Variance of measurement noise
                               % (10^2, if 10ft is the standard deviation)

load data.txt  % Put your measures in this file

est_position     = zeros(length(data), 1);
est_speed        = zeros(length(data), 1);
est_acceleration = zeros(length(data), 1);

%------------------------------------------------------------
% Kalman filter
xhat = [0;0;0];     % Initial estimate
P    = zeros(3,3);  % Initial error variance
for i=1:length(data),
   y = data(i);
   xpred = A*xhat;                                    % Prediction
   Ppred = A*P*A' + Q;                                % Prediction error variance
   Lambdainv = 1/(C*Ppred*C' + R);
   xhat  = xpred + Ppred*C'*Lambdainv*(y - C*xpred);  % Update estimation
   P = Ppred - Ppred*C'*Lambdainv*C*Ppred;            % Update estimation error variance
   est_position(i)     = xhat(1);
   est_speed(i)        = xhat(2);
   est_acceleration(i) = xhat(3);
end

%------------------------------------------------------------
% Plot
figure(1);
hold on;
plot(data, 'k');               % Black: real data
plot(est_position, 'b');       % Blue:  estimated position
plot(est_speed, 'g');          % Green: estimated speed
plot(est_acceleration, 'r');   % Red:   estimated acceleration
pause

score 3 · Accepted Answer

您可以尝试通过低通滤波器运行数据。这将消除高频噪声。也许是一个简单的 FIR。

此外，您可以从原始数据中提取主要事件，但对速度和加速度数据使用多项式拟合。

score 2 · Accepted Answer

您是否尝试过对您的值执行滚动窗口平均值？基本上你执行一个窗口，比如说 10 个值（从 0 到 9），然后计算它的平均值。然后将窗口滚动一点（从 1 到 10）并重新计算。这将平滑值，同时保持点数相对不变。更大的窗口以丢失更多高频信息为代价提供更平滑的数据。

如果您的数据碰巧出现异常峰值，您可以使用中位数而不是平均值。

您也可以尝试使用Autocorrelation。

score 1 · Accepted Answer

您可以分析数据的一种方法是尝试将其与某个模型进行匹配，生成一个函数，然后测试它对您的数据集的适应性......这可能相当复杂，可能没有必要......但重点是不是直接从您的数据生成加速度/速度数据，您可以将其与您的模型相匹配（对于火箭来说相当简单，一些向上的加速度，然后是缓慢的恒速下降。）至少我会在物理学中如何做到这一点实验。

至于在飞行过程中产生某种速度和加速度的感觉，这应该简单地从几个不同的结果中平均速度。类似于：EstimatedV = Vmeasured*(1/n) + (1 - 1/n)*EstimatedV。根据您希望速度调整的速度设置 n。

score 1 · Accepted Answer

我对火箭一无所知。我绘制了你的观点，它们看起来很可爱。

根据我在该图中看到的内容，让我假设通常有一个远地点，并且产生您的观点的函数在该远地点没有导数。

建议：

在整个飞行过程中监控最大高度。
通过（比如说，简单地）将最近的几个点与当前的最大值进行比较，持续观察远地点。
直到达到最大值，使用 (0,0) 固定和一些任意的节点集计算直到当前高度的自然样条集合。使用样条曲线的残差来决定丢弃哪些数据。重新计算样条线。
最多保留最近计算的样条。开始为远地点以外的曲线计算一组新的样条曲线。

score 0 · Accepted Answer

0

ARIMA 模型并在残差中寻找自相关是标准程序。另一个波动率模型。

于 2009-12-25T16:40:56.603 回答

data-mining - 分析噪声数据

6 回答 6

Related

Reference