3

我正在尝试执行以下操作：

  1. 提取我提出问题的旋律（单词“嘿？ ”录制成 wav），这样我就可以得到一个旋律模式，我可以将其应用于任何其他录制/合成的语音（基本上 F0 如何随时间变化）。
  2. 使用多项式插值（拉格朗日？）所以我得到一个描述旋律的函数（当然是大约）。
  3. 将该函数应用于另一个录制的语音样本。（例如，单词“嘿。 ”因此它被转换为一个问题“嘿？ ”，或者将句子的结尾转换为听起来像一个问题[例如。“可以吗。 ”=>“可以吗？ ”]） . 瞧，就是这样。

我做了什么？我在哪里？ 首先，我深入研究了 fft 和信号处理（基础）背后的数学。我想以编程方式进行，所以我决定使用 python。

我对整个“嘿？ ”语音样本进行了 fft，并获得了频域数据（请不要介意 y 轴单位，我没有对其进行归一化） ffted 样品一

到现在为止还挺好。然后我决定把我的信号分成块，这样我就能得到更清晰的频率信息——峰值等等——这是一个盲目的尝试，我试图掌握操纵频率和分析音频数据的想法。然而，它让我无处可去，至少没有朝着我想要的方向发展。

ffted 样品二

现在，如果我获取这些峰值，从它们那里得到一个插值函数，并将该函数应用于另一个语音样本（语音样本的一部分，当然也是 ffted）并执行反 fft 我不会得到我想要的， 对？我只会改变幅度，这样它就不会影响旋律本身（我认为是这样）。

然后我使用librosa中的spec和pyin方法来提取真正的 F0-in-time - 问问题“嘿？ ”的旋律。正如我们所料，我们可以清楚地看到频率值的增加： ffted 频谱图和 f0 在时间上的过程

一个非问题陈述看起来像这样 - 假设它是不变的。 频谱图非问题

这同样适用于较长的语音样本： 单调的语音样本

现在，我假设我有块来构建我的算法/流程，但我仍然不知道如何组装它们，因为我对引擎盖下发生的事情的理解存在一些空白。

我认为我需要找到一种方法将 F0 时间曲线从频谱图映射到“纯”FFT 数据，从中获取插值函数，然后将该函数应用于另一个语音样本。

是否有任何优雅（不优雅也可以）的方式来做到这一点？我需要指出正确的方向，因为我能感觉到我已经接近但我基本上被卡住了。

上面图表后面的代码仅取自 librosa 文档和其他 stackoverflow 问题，它只是草稿/POC，所以请不要评论样式，如果可以的话:)

fft 大块：

import numpy as np
import matplotlib.pyplot as plt
from scipy.io import wavfile
import os

file = os.path.join("dir", "hej_n_nat.wav")
fs, signal = wavfile.read(file)

CHUNK = 1024

afft = np.abs(np.fft.fft(signal[0:CHUNK]))
freqs = np.linspace(0, fs, CHUNK)[0:int(fs / 2)]
spectrogram_chunk = freqs / np.amax(freqs * 1.0)

# Plot spectral analysis
plt.plot(freqs[0:250], afft[0:250])
plt.show()

频谱图：

import librosa.display
import numpy as np
import matplotlib.pyplot as plt
import os

file = os.path.join("/path/to/dir", "hej_n_nat.wav")
y, sr = librosa.load(file, sr=44100)
f0, voiced_flag, voiced_probs = librosa.pyin(y, fmin=librosa.note_to_hz('C2'), fmax=librosa.note_to_hz('C7'))


times = librosa.times_like(f0)

D = librosa.amplitude_to_db(np.abs(librosa.stft(y)), ref=np.max)

fig, ax = plt.subplots()

img = librosa.display.specshow(D, x_axis='time', y_axis='log', ax=ax)

ax.set(title='pYIN fundamental frequency estimation')

fig.colorbar(img, ax=ax, format="%+2.f dB")

ax.plot(times, f0, label='f0', color='cyan', linewidth=2)

ax.legend(loc='upper right')
plt.show()

非常感谢提示、问题和评论。

4

1 回答 1

1

问题是我不知道如何修改基频（F0）。通过修改它，我的意思是修改 F0 及其谐波。

所讨论的频谱图显示了某些时间点的频率以及某个频率点的功率 (dB)。因为我知道哪个时间箱包含旋律中的哪个频率（下面的绿线）...... 在此处输入图像描述

....我需要计算一个表示该绿线的函数，以便将其应用于其他语音样本。

所以我需要使用一些以样本 F0 函数点为参数的插值方法。

需要记住多项式的次数应该等于点的数量。不幸的是，这个例子没有那个，但是对于原型来说效果还是可以的。

def _get_bin_nr(val, bins):
    the_bin_no = np.nan
    for b in range(0, bins.size - 1):
        if bins[b] <= val < bins[b + 1]:
            the_bin_no = b
        elif val > bins[bins.size - 1]:
            the_bin_no = bins.size - 1
    return the_bin_no

def calculate_pattern_poly_coeff(file_name):
y_source, sr_source = librosa.load(os.path.join(ROOT_DIR, file_name), sr=sr)
f0_source, voiced_flag, voiced_probs = librosa.pyin(y_source, fmin=librosa.note_to_hz('C2'),
                                                    fmax=librosa.note_to_hz('C7'), pad_mode='constant',
                                                    center=True, frame_length=4096, hop_length=512, sr=sr_source)
all_freq_bins = librosa.core.fft_frequencies(sr=sr, n_fft=n_fft)
f0_freq_bins = list(filter(lambda x: np.isfinite(x), map(lambda val: _get_bin_nr(val, all_freq_bins), f0_source)))

return np.polynomial.polynomial.polyfit(np.arange(0, len(f0_freq_bins), 1), f0_freq_bins, 3)

def calculate_pattern_poly_func(coefficients):
    return np.poly1d(coefficients)

方法 calculate_pattern_poly_coeff 计算多项式系数。

使用 pythons poly1d lib 我可以计算可以修改语音的函数。怎么做？我只需要在某个时间点垂直向上或向下移动所有值。例如，我想将时间 bin 0,75 秒的所有频率向上移动 3 次 -> 这意味着频率将增加，此时的旋律听起来会更高。

代码：

def transform(sentence_audio_sample, mode=None, show_spectrograms=False, frames_from_end_to_transform=12):
# cutting out silence
y_trimmed, idx = librosa.effects.trim(sentence_audio_sample, top_db=60, frame_length=256, hop_length=64)

stft_original = librosa.stft(y_trimmed, hop_length=hop_length, pad_mode='constant', center=True)

stft_original_roll = stft_original.copy()
rolled = stft_original_roll.copy()

source_frames_count = np.shape(stft_original_roll)[1]
sentence_ending_first_frame = source_frames_count - frames_from_end_to_transform
sentence_len = np.shape(stft_original_roll)[1]

for i in range(sentence_ending_first_frame + 1, sentence_len):
    if mode == 'question':
        by = int(_question_pattern(i) / 500)
    elif mode == 'exclamation':
        by = int(_exclamation_pattern(i) / 500)
    else:
        by = 0
    rolled = _roll_column(rolled, i, by)

transformed_data = librosa.istft(rolled, hop_length=hop_length, center=True)

def _roll_column(two_d_array, column, shift): two_d_array[:, column] = np.roll(two_d_array[:, column], shift) return two_d_array

在这种情况下，我只是在参考某个时间段来向上或向下滚动频率。

这需要完善，因为它没有考虑转换后样本的实际状态。它只是根据之前使用多项式函数计算机计算的因子将其向上/向下滚动。

你可以在github上查看我的项目的完整代码，“audio”包包含上面描述的模式计算器和音频变换算法。

如果有不清楚的地方，请随时询问:)

于 2021-01-13T12:39:26.180 回答