2

由于延迟低，我正在尝试将 Google Oboe 用于 3D 音频处理应用程序。该应用程序将有一个 C++ 后端，它负责处理，前端由 Flutter 完成。我正在运行一些测试以查看它是否可以工作，但我在将资产从 Flutter 加载到双簧管时遇到问题。我检查了 Oboe 的repo中的示例 RhythmGame ，使用 Java 完成，但无法安静地找到直接从 Dart 到 C++ 的方法。前后端的连接是通过dart::ffi

这是我到目前为止所尝试的。根据 Richard Heap在此处发布的示例，我将noise变量从正弦波更改为 wav 文件中歌曲的短片段：

class _MyAppState extends State<MyApp> {
  final stream = OboeStream();

  var noise = Float32List(512);
  Timer t;

  @override
  void initState() {
    super.initState();
    // for (var i = 0; i < noise.length; i++) {
    //   noise[i] = sin(8 * pi * i / noise.length);
    // }

    _loadSound();
  }

  void _loadSound() async {
    final ByteData data = await rootBundle.load('assets/song_cut.wav');
    noise = data.buffer.asFloat32List();
  }

(...)

然后 Dart 中的这个函数调用原生库的 Dart 包装器：

void start() {
    stream.start();
    var interval = (512000 / stream.getSampleRate()).floor() + 1;
    t = Timer.periodic(Duration(milliseconds: interval), (_) {
      stream.write(noise);
     });
  }

Dart 中的包装器是：

void write(Float32List original) {
    var length = original.length;
    var copy = allocate<Float>(count: length)
        ..asTypedList(length).setAll(0, original);

    FfiGoogleOboe()._streamWrite(_nativeInstance, copy, length);
    free(copy);
  }

_streamWrite是 C++ 中的本机函数：

EXTERNC void stream_write(void* ptr, void* data, int32_t size) {
    auto stream = static_cast<OboeFfiStream*>(ptr);
    auto dataToWrite = static_cast<float*>(data);
    stream->write(dataToWrite, size);
}

void OboeFfiStream::write(float *data, int32_t size) {
    managedStream->write(data, size, 1000000);
}

现在我能听到这首歌，但它的失真太大了。尝试使用正弦时，我也能听到它，但它也有一些失真。我还没有在双簧管中使用回调模式，因为我想先试试这是否有效。

4

1 回答 1

2

1 - 你的WAV文件是什么格式的？它是 32 位浮点数吗？不要忘记 WAV 文件有一个标题，所以你应该丢弃前几十个字节（直到data段）。确保您开始在浮点边界上读取音频数据（如果标题不是，则可能不是 4 的倍数）。如有必要，只需使用十六进制编辑器确定浮点数据的偏移量并开始读取。或者，截断标题并将您的资产重命名为song_cut.raw. Audacity 应该能够生成无标题的原始音频文件。

2 - 您的音频剪辑以什么采样率录制？这是否与设备的采样率相匹配？（请注意，iOS 设备通常为 44.1k，但 Android 设备通常为 48k。在 macOS 上使用 Android 模拟器时，谁知道报告的采样率会是多少！如果您的采样率不匹配，预计音高失真 - 或使用重采样器.我认为双簧管有一个。或者，与谈话相关的示例回购包含一个你可以使用的。）

3 - 请注意，计时器间隔已微调（出于演示目的）以声卡速率提供 512 个样本所需的大致时间。这对于演示可能没问题，但不适用于现实生活。此外，您的 wav 文件中可能没有正好 512 个样本。将您的音频循环调整为 512 个样本，或调整 512000 常数以匹配循环中的样本数。

4a - 您还没有使用回调方法，但您可能应该尽快使用。我成功的一种方法是使用无锁循环缓冲区。双簧管回调尝试清空缓冲区，而 Dart 计时器例程尝试填充它。缓冲区越大，下溢的可能性越小，但延迟越差。

4b - 理想的解决方案是将双簧管回调调用到 Dart 中，但我还没有找到一种方法来做到这一点，因为 C->Dart 调用必须在 Dart 主线程上，但双簧管回调肯定在高优先级 IO 线程。

于 2020-06-09T19:40:46.147 回答