Dettato:多乐器音频转 MIDI,每个乐器一个音轨,再加一个鼓组音轨

Dettato:多乐器音频转 MIDI,每个乐器一个音轨,再加一个鼓组音轨

💡 原文中文,约1300字,阅读约需3分钟。
📝

内容提要

Dettato 是 KobiMusic 开源的本地音乐转录模型,可将 MP3/WAV 音频转为 MIDI 文件,每个乐器对应一个音轨并含鼓组音轨。它由四个小模型组成,分别负责音频注释、音符修正、乐器分组和鼓声识别。运行需 Python 3.10+ 和 PyTorch 2.2+,普通电脑可用 CPU 运行但速度较慢,RTX 5060 转录 4 分钟歌曲约需 15 秒。适合音乐爱好者学习与编辑。

🔎

延伸解读

多轨MIDI的实用价值

Dettato 输出的 MIDI 文件为每个乐器单独分配音轨,并额外生成鼓组音轨。这种结构便于在数字音频工作站中分轨编辑:例如单独调整贝斯音高或修改鼓点节奏,而不会影响其他声部。对于想学习编曲或扒带的人来说,分轨 MIDI 比单一混合 MIDI 更接近实际制作流程,也更容易对照原曲逐轨检查。

四模型分工与修正机制

Dettato 由四个小模型串联工作:第一个模型负责音频注释,识别88个调的音高与起止;第二个模型利用转录证据修正音符,删除错误、补漏并调整起音和结尾;第三个模型将音符分组到乐器轨道并命名;第四个模型专门识别鼓声。这种分阶段设计让每个环节可独立优化,但也意味着最终质量受限于各模型协同效果,用户需留意修正阶段是否引入偏差。

硬件门槛与速度权衡

Dettato 对硬件要求较低,普通 Windows 或 Linux 电脑用 CPU 即可运行,但速度较慢:开发者用笔记本 CPU 转录15秒音频耗时87秒(含模型加载)。作为对比,RTX 5060(8 GB 显存)转录4分钟歌曲约15秒,显存峰值低于4 GB。M 系列 Mac 需手动指定 CPU 运行,实际耗时取决于电脑性能和录音长度。用户可根据对速度的需求选择设备。

使用前的准备与限制

运行 Dettato 需要 Python 3.10+ 和 PyTorch 2.2+,首次运行会从 Hugging Face 下载模型(尺寸在几十MB级别)。转换后输出 .mid 和记录轨道、音符数量的 .json 文件。若遇到无法读取的 MP3,可安装 FFmpeg 再试。需要注意的是,文章未提及对复杂混音或非标准乐器的转录准确率,实际效果可能因音频质量而异,建议先用短片段测试。

❓

Q&A

Dettato 是什么?它有什么主要功能?

Dettato 是 KobiMusic 开源的音乐转录模型,可以在自己的电脑(CPU、GPU)上运行。它可以将 MP3/WAV 音频转换为 MIDI 文件,每个乐器对应一个音轨,外加一个鼓组音轨。

Dettato 由哪些模型组成?各自的作用是什么?

Dettato 由四个小模型组成:1. kobimusic/dettato(15.3M 参数)负责音频注释,识别 88 个调的起始、结束和音高;2. kobimusic/dettato-evidence(4.9M 参数)利用转录者自身的证据修正音符,删除错误音符、修正起音和结尾、添加遗漏音符;3. kobimusic/dettato-grouper(290 万参数)将每个音符放入乐器轨道并命名乐器;4. kobimusic/dettato-drums(5.0M 参数)识别 General MIDI 鼓键上的鼓击声、鼓组和管弦打击乐器。

运行 Dettato 需要什么环境?对电脑配置有什么要求?

Dettato 需要 Python 3.10 或更新版本和 PyTorch 2.2 或更新版本。普通 Windows 或 Linux 电脑用 CPU 就能跑,但速度较慢;开发者用笔记本 CPU 转录 15 秒音频花了 87 秒(包含模型加载时间)。使用 RTX 5060(8 GB 显存)转录一首 4 分钟的歌约需 15 秒,显存峰值低于 4 GB。M 系列 Mac 可以安装 PyTorch,并用 --device cpu 指定 CPU 运行。

如何使用 Dettato 将音频转换为 MIDI?

安装命令为 pip install git+https://github.com/kobimusic/dettato,运行命令为 dettato song.mp3 -o out/。第一次运行会从 Hugging Face 下载模型。转换后,out 文件夹里会生成 song.mid 和记录轨道、音符数量等信息的 song.json。如果遇到无法读取的 MP3,可以安装 FFmpeg 再试。

Dettato 转换出的 MIDI 文件可以怎样编辑和使用?

转换出的 MIDI 文件可以在钢琴卷帘中编辑:方块越高音越高,方块起始位置和长度对应音符何时响、响多久。你可以拖动方块调整音高,左右拖动改变起始时间,拉长右边缘延长持续时间。例如,想学弹某段旋律,可以放慢播放,跟着原曲核对,并调整音符。

Dettato 的转录速度如何?

转录速度取决于硬件。使用笔记本 CPU 转录 15 秒音频约需 87 秒(包含模型加载时间);使用 RTX 5060(8 GB 显存)转录 4 分钟歌曲约需 15 秒,显存峰值低于 4 GB。M 系列 Mac 用 CPU 运行的实际速度取决于电脑和录音长度。

🏷️

标签

➡️

继续阅读