本文介绍了基于压缩语言模型的参数有效调整框架CPET,旨在恢复因压缩技术导致的知识丢失。实验结果表明,CPET在特定任务中与压缩LLM的合作性能优于直接应用基本PET方法。此外,提出了多种新颖的调优策略,如HiDe-Prompt和UniPT,展示了在持续学习和低内存场景下的有效性。
完成下面两步后,将自动完成登录并继续当前操作。