基于 VITS 的变声框架：杜绝音色泄漏问题 | 开源日报 No.242
内容提要
Retrieval-based-Voice-Conversion-WebUI 是一个基于 VITS 的变声框架，能够有效防止音色泄漏。该框架支持快速训练，适合低显卡性能，推荐使用至少10分钟的低底噪语音数据。它提供简单的网页界面，支持音色融合和人声分离，采用先进的音高提取算法，效果显著。
延伸解读
音色泄漏的解决思路
音色泄漏是变声任务中的常见问题，即输出音频中残留了输入源说话人的音色特征。该框架通过 top1 检索，将输入源特征替换为训练集特征，从而在特征层面切断源音色信息，达到杜绝音色泄漏的效果。这一设计不依赖复杂的对抗训练，而是用检索替换的方式直接干预特征，思路简洁且针对性强。
低资源训练的实际门槛
文章强调该框架在较差显卡上也能快速训练，且使用少量数据即可获得较好结果，推荐至少收集10分钟低底噪语音数据。这意味着个人开发者或小团队无需高端硬件和大规模数据集即可尝试变声模型训练。但需注意，10分钟是推荐下限，实际效果仍受数据质量和底噪水平影响，低底噪是获得可用结果的重要前提。
音色融合与界面集成
除了基础变声，该框架支持通过模型融合改变音色，操作入口在 ckpt 处理选项卡中的 ckpt-merge。同时，它提供简单易用的网页界面，并可调用 UVR5 模型快速分离人声和伴奏。这些功能将训练、变声、音色调整和人声分离整合在一个界面中，降低了多工具切换的成本，适合需要快速实验和迭代的用户。
音高提取算法的选择
框架采用 InterSpeech2023-RMVPE 作为人声音高提取算法，文章称其能根绝哑音问题，效果显著且比 crepe_full 更快、资源占用更小。音高提取直接影响变声的自然度和稳定性，选择更高效的算法有助于在低配置设备上保持可用性能。对于关注实时性或硬件资源有限的用户，这一算法选择是值得留意的技术细节。
Q&A
Retrieval-based-Voice-Conversion-WebUI 的主要功能是什么？
该框架是一个基于 VITS 的变声工具，能够有效防止音色泄漏，并支持音色融合和人声分离。
使用 Retrieval-based-Voice-Conversion-WebUI 进行训练需要什么样的数据？
推荐使用至少10分钟的低底噪语音数据进行训练，以获得较好的效果。
这个变声框架在显卡性能较差的情况下表现如何？
即使在显卡性能较差的情况下，Retrieval-based-Voice-Conversion-WebUI 也能快速训练。
如何通过该框架改变音色？
可以通过模型融合来改变音色，使用 ckpt 处理选项卡中的 ckpt-merge 功能。
Retrieval-based-Voice-Conversion-WebUI 的用户界面如何？
该框架提供简单易用的网页界面，方便用户操作。
该框架使用了什么样的音高提取算法？
框架采用了先进的人声音高提取算法，效果显著且资源占用小。
