10

我一直在试验 FFT 算法。我使用 NAudio 以及来自互联网的 FFT 算法的工作代码。根据我对表演的观察,得到的音高是不准确的。

发生的情况是我有一个 MIDI(从 GuitarPro 生成)转换为 WAV 文件(44.1khz,16 位,单声道),其中包含从 E2(最低吉他音符)到大约 E6 的音高进程。较低的音符(E2-B3 附近)的结果通常是非常错误的。但是达到 C4 它在某种程度上是正确的,因为您已经可以看到正确的进程(下一个音符是 C#4,然后是 D4 等)但是,问题在于检测到的音高比实际音高低半音(例如 C4 应该是音符,但显示 D#4)。

你认为可能有什么问题?如有必要,我可以发布代码。非常感谢!我还是开始掌握DSP领域。

编辑:这是我在做什么的一个粗略的划痕

byte[] buffer = new byte[8192];
int bytesRead;
do
{
  bytesRead = stream16.Read(buffer, 0, buffer.Length);
} while (bytesRead != 0);

然后:(waveBuffer 只是一个将 byte[] 转换为 float[] 的类,因为该函数只接受 float[])

public int Read(byte[] buffer, int offset, int bytesRead)
{
  int frames = bytesRead / sizeof(float);
  float pitch = DetectPitch(waveBuffer.FloatBuffer, frames);
}

最后:(Smbpitchfft 是具有 FFT 算法的类......我相信它没有任何问题,所以我不在这里发布)

private float DetectPitch(float[] buffer, int inFrames)
{
  Func<int, int, float> window = HammingWindow;
  if (prevBuffer == null)
  {
    prevBuffer = new float[inFrames]; //only contains zeroes
  }  

  // double frames since we are combining present and previous buffers
  int frames = inFrames * 2;
  if (fftBuffer == null)
  {
    fftBuffer = new float[frames * 2]; // times 2 because it is complex input
  }

  for (int n = 0; n < frames; n++)
  {
     if (n < inFrames)
     {
       fftBuffer[n * 2] = prevBuffer[n] * window(n, frames);
       fftBuffer[n * 2 + 1] = 0; // need to clear out as fft modifies buffer
     }
     else
     {
       fftBuffer[n * 2] = buffer[n - inFrames] * window(n, frames);
       fftBuffer[n * 2 + 1] = 0; // need to clear out as fft modifies buffer
     }
   }
   SmbPitchShift.smbFft(fftBuffer, frames, -1);
  }

并解释结果:

float binSize = sampleRate / frames;
int minBin = (int)(82.407 / binSize); //lowest E string on the guitar
int maxBin = (int)(1244.508 / binSize); //highest E string on the guitar

float maxIntensity = 0f;
int maxBinIndex = 0;

for (int bin = minBin; bin <= maxBin; bin++)
{
    float real = fftBuffer[bin * 2];
    float imaginary = fftBuffer[bin * 2 + 1];
    float intensity = real * real + imaginary * imaginary;
    if (intensity > maxIntensity)
    {
        maxIntensity = intensity;
        maxBinIndex = bin;
    }
}

return binSize * maxBinIndex;

更新(如果有人仍然感兴趣):

因此,以下答案之一表明来自 FFT 的频率峰值并不总是等于音高。我明白那个。但如果是这种情况,我想为自己尝试一些东西(假设有时频率峰值是产生的音高)。所以基本上,我得到了 2 个能够显示音频信号频域的软件(DewResearch 的 SpectraPLUS 和 FFProperties;归功于他们)。

所以这里是时域中频率峰值的结果:

SpectraPLUS

SpectraPLUS

和 FFT 属性: 在此处输入图像描述

这是使用 A2 的测试笔记(大约 110Hz)完成的。查看图像时,SpectraPLUS 的频率峰值在 102-112 Hz 范围内,FFT 属性的频率峰值在 108 Hz 范围内。在我的代码中,我得到 104Hz(我使用 8192 个块和 44.1khz 的采样率......然后将 8192 加倍以使其成为复杂输入,所以最后,与 SpectraPLUS 的 10Hz binsize 相比,我得到大约 5Hz 的 binsize )。

所以现在我有点困惑,因为在软件上它们似乎返回了正确的结果,但在我的代码上,我总是得到 104Hz(请注意,我已经将我使用的 FFT 函数与 Math.Net 等其他函数进行了比较,它似乎是正确的)。

你认为问题可能出在我对数据的解释上吗?或者软件在显示频谱之前会做其他事情吗?谢谢!

4

4 回答 4

11

听起来您的 FFT 输出可能存在解释问题。几个随机点:

  • FFT 具有有限的分辨率 - 每个输出 bin 的分辨率为Fs / N,其中Fs是采样率,N是 FFT 的大小

  • 对于音阶上较低的音符,连续音符之间的频率差异相对较小,因此您需要足够大的 N 来区分相隔半音的音符(参见下面的注释 1)

  • 第一个 bin(索引 0)包含以 0 Hz 为中心的能量,但包含来自+/- Fs / 2N

  • bini包含以中心频率为中心的能量,i * Fs / N但包含来自+/- Fs / 2N该中心频率任一侧的能量

  • 您将从相邻的箱中获得频谱泄漏- 这有多糟糕取决于您使用的窗口函数- 没有窗口(== 矩形窗口)并且频谱泄漏将非常糟糕(非常宽的峰值) - 对于您想要选择的频率估计为您提供尖锐峰值的窗口函数

  • 音高与频率不同 - 音高是一种感知,频率是一种物理量 - 乐器的感知音高可能与基频略有不同,具体取决于乐器的类型(有些乐器甚至不会产生显着能量在它们的基频,但我们仍然感知它们的音高,就好像基频存在一样)

不过,从可用的有限信息中,我最好的猜测是,也许您在将 bin 索引转换为频率的过程中某处“偏离了”,或者您的 FFT 太小而无法为您提供足够的低音分辨率,您可能需要增加 N。

您还可以通过多种技术改进音高估计,例如倒谱分析,或者通过查看 FFT 输出的相位分量并将其与连续 FFT 进行比较(这允许在给定 FFT 大小的 bin 内进行更准确的频率估计)。


笔记

(1) 举个例子,E2 是 82.4 Hz,F2 是 87.3 Hz,所以你需要一个比 5 Hz 更好的分辨率来区分吉他上最低的两个音符(如果你真的比这要精细得多想要做,比如说,准确的调整)。在 44.1 kHz 采样时,您可能需要至少 N = 8192 的 FFT 才能为您提供足够的分辨率(44100 / 8192 = 5.4 Hz),可能 N = 16384 会更好。

于 2011-02-11T08:51:12.923 回答
3

我想这可能会对你有所帮助。我绘制了吉他的 6 根空弦图。代码在 Python 中使用 pylab,我推荐用于实验:

# analyze distorted guitar notes from
# http://www.freesound.org/packsViewSingle.php?id=643
#
# 329.6 E - open 1st string
# 246.9 B - open 2nd string
# 196.0 G - open 3rd string
# 146.8 D - open 4th string
# 110.0 A - open 5th string
#  82.4 E - open 6th string

from pylab import *
import wave

fs = 44100.0 
N = 8192 * 10
t = r_[:N] / fs
f = r_[:N/2+1] * fs / N 
gtr_fun = [329.6, 246.9, 196.0, 146.8, 110.0, 82.4]

gtr_wav = [wave.open('dist_gtr_{0}.wav'.format(n),'r') for n in r_[1:7]]
gtr = [fromstring(g.readframes(N), dtype='int16') for g in gtr_wav]
gtr_t = [g / float64(max(abs(g))) for g in gtr]
gtr_f = [2 * abs(rfft(g)) / N for g in gtr_t]

def make_plots():
    for n in r_[:len(gtr_t)]:
        fig = figure()
        fig.subplots_adjust(wspace=0.5, hspace=0.5)
        subplot2grid((2,2), (0,0))
        plot(t, gtr_t[n]); axis('tight')
        title('String ' + str(n+1) + ' Waveform')
        subplot2grid((2,2), (0,1))
        plot(f, gtr_f[n]); axis('tight')
        title('String ' + str(n+1) + ' DFT')
        subplot2grid((2,2), (1,0), colspan=2)
        M = int(gtr_fun[n] * 16.5 / fs * N)
        plot(f[:M], gtr_f[n][:M]); axis('tight')
        title('String ' + str(n+1) + ' DFT (16 Harmonics)')

if __name__ == '__main__':
    make_plots()
    show()

弦 1,基频 = 329.6 Hz:

字符串 1,f0 = 329.6 Hz

弦 2,基频 = 246.9 Hz:

在此处输入图像描述

弦 3,基频 = 196.0 Hz:

在此处输入图像描述

弦 4,基频 = 146.8 Hz:

在此处输入图像描述

弦 5,基频 = 110.0 Hz:

在此处输入图像描述

弦 6,基频 = 82.4 Hz:

在此处输入图像描述

基频并不总是占主导地位的谐波。它决定了周期信号的谐波之间的间距。

于 2011-02-12T12:40:59.870 回答
1

音高不同于频率峰值。音高是一种心理感知现象,可能更多地取决于泛音等。在实际信号频谱中,人类称之为音高的频率可能会丢失或非常小。

并且频谱中的频率峰值可以不同于任何 FFT bin 中心。FFT bin 中心频率的频率和间距仅取决于 FFT 长度和采样率,而不是数据中的频谱。

所以你至少有两个问题需要解决。有大量关于频率估计的学术论文以及音高估计的单独主题。从那里开始。

于 2011-02-11T20:03:57.833 回答
1

我有一个类似的问题,我的答案是使用Goertzel而不是 FFT。如果您知道您正在寻找什么音调 ​​(MIDI),Goertzel 能够检测到一个正弦波(一个周期)内的音调。它通过生成声音的正弦波并“将其置于原始数据之上”来查看它是否存在。FFT 对大量数据进行采样以提供近似频谱。

于 2011-02-11T12:48:38.160 回答