HiDe-PET：利用分层分解实现参数高效调节的持续学习
原文中文，约300字，阅读约需1分钟。发表于：。为了在连续学习中保持预训练骨干网络的优势，我们提出了一种统一的预训练模型与参数高效调整的连续学习框架，该框架通过 Hierarchical Decomposition PET 方法对分解的目标进行优化，并结合了任务特定和任务共享的知识，以及对预训练表示的高效恢复，从而在各种连续学习场景中表现出显著优越的性能。
通过分解软提示和使用不同的学习率进行优化，提出了分解提示调优（DePT）。在23个NLP和VL任务上的实验中，证明了DePT在某些情景下优于最先进的微调方法。研究还发现DePT在模型规模增大时更高效，并适用于少样本学习和各种模型架构和规模。
