语音的 PEFT: 揭示最佳部署、合并策略和集成技术
原文中文,约600字,阅读约需2分钟。发表于: 。通过在不同层次中插入不同的 Parameter-Efficient Fine-Tuning 方法并采用 Differentiable Architecture Search (DARTS) 进行比较,我们研究了 PEFT 方法的最佳途径和放置方式;同时,我们还探索了使用集成学习来提升 PEFT 策略的多样性。实验结果表明,DARTS 并没有超越基准方法的表现,而将 PEFT...
研究发现将PEFT方法插入到自监督学习模型的所有层中的集成学习方法表现更佳,通过协同融合不同的PEFT方法能够更有效地利用它们的独特学习能力。