HiDe-PET:利用分层分解实现参数高效调节的持续学习

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

通过分解软提示和使用不同的学习率进行优化,提出了分解提示调优(DePT)。在23个NLP和VL任务上的实验中,证明了DePT在某些情景下优于最先进的微调方法。研究还发现DePT在模型规模增大时更高效,并适用于少样本学习和各种模型架构和规模。