本研究提出LoRS-Merging技术,旨在解决多语言语音转文本中的计算成本和语言干扰问题。该技术通过低秩和稀疏修剪整合不同语言模型,显著优于传统多任务训练,提升了系统的可扩展性和有效性。
本文介绍了LoRA-Whisper模型,通过引入LoRA矩阵,提升多语种自动语音识别性能,减少语言干扰。在八种语言的实验中,LoRA-Whisper在多语种识别和语言扩展上分别提高了18.5%和23.0%。研究还探讨了低秩适应方法在低资源语言和跨语言转移中的应用,显示出良好的性能和适应能力。
完成下面两步后,将自动完成登录并继续当前操作。