HiDe-PET：利用分层分解实现参数高效调节的持续学习
内容提要
本文介绍了基于压缩语言模型的参数有效调整框架CPET，旨在恢复因压缩技术导致的知识丢失。实验结果表明，CPET在特定任务中与压缩LLM的合作性能优于直接应用基本PET方法。此外，提出了多种新颖的调优策略，如HiDe-Prompt和UniPT，展示了在持续学习和低内存场景下的有效性。
延伸解读
CPET 的核心思路：压缩模型的知识恢复
CPET 框架针对压缩语言模型在参数高效调整（PET）中知识丢失的问题，提出了知识继承和恢复策略。实验表明，与直接应用基本 PET 方法相比，CPET 与压缩 LLM 结合能在特定任务上实现可比甚至更优的性能。这提示我们，在模型压缩后，通过专门的调优框架可以部分弥补压缩带来的性能损失。
HiDe-Prompt：分层分解提升持续学习
HiDe-Prompt 通过分层分解方法，在自监督预训练中协调任务特定提示与无指导/有指导表示的统计数据，并引入对比正则化策略。该方法在持续学习中展现出优越性能，且对预训练范式具有鲁棒性。这为持续学习场景下如何有效利用提示调优提供了新思路。
UniPT：低内存场景下的高效调优
UniPT 是一种内存高效的参数高效迁移学习策略，通过轻量级可学习并行网络进行传输过程，减少内存消耗。在不同架构上，UniPT 在低内存场景下实现了更高性能。这对于资源受限的实际应用具有重要意义，表明并行调优可以在不牺牲性能的前提下降低内存需求。
Q&A
CPET框架的主要目标是什么？
CPET框架旨在恢复因压缩技术导致的知识丢失。
CPET与基本PET方法相比有什么优势？
CPET在特定任务中与压缩LLM的合作性能优于直接应用基本PET方法。
HiDe-Prompt和UniPT是什么？
HiDe-Prompt和UniPT是CPET框架中提出的新颖调优策略，旨在提高持续学习和低内存场景下的有效性。
CPET框架如何解决知识丢失问题？
CPET通过知识继承和恢复策略来解决因压缩技术引起的知识丢失问题。
CPET在实验中表现如何？
实验结果表明，CPET在特定任务中表现出可比的性能，优于基本PET方法。
CPET框架适用于哪些场景？
CPET框架适用于持续学习和低内存场景。
