1

我目前正在研究语音分类问题。我每个班级有 1000 个音频文件，并且有 7 个这样的班级。我需要增加数据以达到更好的准确性。我正在使用 librosa 库进行数据扩充。对于每个音频文件，我都使用下面的代码。

fbank_train = []
labels_train = []
for wav in x_train_one[:len(x_train_one)]:
    samples, sample_rate = librosa.load(wav, sr=16000)
    if (len(samples)) == 16000:
        label = wav.split('/')[6]
        fbank = logfbank(samples, sample_rate, nfilt=16)
        fbank_train.append(fbank)
        labels_train.append(label)
        y_shifted = librosa.effects.pitch_shift(samples, sample_rate, n_steps=4, bins_per_octave=24)
        fbank_y_shifted = logfbank(y_shifted, sample_rate, nfilt=16)
        fbank_train.append(fbank_y_shifted)
        labels_train.append(label)
        change_speed = librosa.effects.time_stretch(samples, rate=0.75)
        if(len(change_speed)>=16000):
            change_speed = change_speed[:16000]
            fbank_change_speed = logfbank(change_speed, sample_rate, nfilt=16)
            fbank_train.append(fbank_change_speed)
            labels_train.append(label)
        change_speedp = librosa.effects.time_stretch(samples, rate=1.25)
        if(len(change_speedp)<=16000):
            change_speedp = np.pad(change_speedp, (0, max(0, 16000 - len(change_speedp))), "constant")
            fbank_change_speedp = logfbank(change_speedp, sample_rate, nfilt=16)
            fbank_train.append(fbank_change_speedp)
            labels_train.append(label)

那就是我正在扩充每个音频文件（音高变换和时移）。我想知道，这是增加训练数据集的正确方法吗？如果没有，需要增强的音频文件的比例是多少？

4

1 回答 1

1

执行增强的最常见方法是对整个数据集进行增强，每个样本都有随机机会被增强或不增强。

同样在大多数情况下，扩充是在运行时完成的。

例如，您的案例的伪代码可能如下所示：

for e in epochs:
    reshuffle_training_set
    for x, y in training_set:
        if np.random.random() > 0.5:
            x = randomly_shift_pitch(x)
        if np.random.random() > 0.5:
            x = randomly_shift_time(x)
        model.fit(x, y)

这意味着每张图像有 25% 的机会根本不被增强，有 25% 的机会只是时移，有 25% 的机会只是音调移位，以及 25% 的机会同时是时间和音高-转移了。

在下一个 epoch 中，使用上述策略再次增强相同的图像。如果您通过多个 epoch 训练您的模型，每个图像将通过每个增强组合（很有可能），因此模型将从它们中学习。

此外，如果每个移位都是随机完成的，即使一个样本两次通过相同的增强器，也不会产生相同的扰动样本。

在运行时增强图像而不事先执行完整增强的一个好处是，如果您想要相同的结果，您需要创建多个新数据集（即一些时移数据集、音高偏移数据集以及两者的组合) 并在组合的大型数据集上训练模型。

于 2019-12-06T11:31:59.973 回答