我应该从哪里开始?
我正在尝试为 VJing 等构建一个实时的词干分割音乐可视化器。
与众不同的是,我想将输入音频流拆分为其词干(通过算法或使用类似Spleeter 的方法),然后使用每个词干数据来控制可视化的不同方面。
例如:
- 用于播放 BPM 同步视频的孤立鼓。
- 我希望通过以固定的 BPM(例如 60)制作一个简短的循环视频来实现这一点,然后通过检测流的 BPM,调整视频的播放速度,使视频同步。
- 隔离的合成流可以控制 DMX 灯。
- 我想尝试将这些数据编码到上述视频中的最后一行像素中。通过从像素读取颜色、强度和运动数据,可以实时读取运动和时间并将其发送到灯。我这样做是为了让用户可以将场景所需的所有数据编码到一个视频文件中。
- 孤立的人声可以使用 MusixMatch 同步并显示在屏幕上。
- 隔离的低音线可以解析为 MIDI 数据并在屏幕上可视化。
- 以上都可以现场控制。
现在的问题是我对编程相对缺乏经验。我不知道从哪里开始。使用哪种语言,哪种 IDE,如何显示视觉效果,如何与音频输入流交互,如何使用 DMX 以及如何可视化 MIDI 数据。我知道这目前有点超出我的深度,但我会用正确的资源进行管理。请给我一些关于从哪里开始这样的项目的建议。