DAPT：用于大型语言模型参数高效持续学习的双重注意力框架
内容提要
该文综述参数高效调优（PET）在大型语言模型持续任务适配中的进展，涵盖ConPET、CPET、UniPT、FFDAPT、TF-CL、主动学习、网络剪枝搜索、PETAL及DCP等成果。
延伸解读
持续学习与参数高效调优的结合点
文章将ConPET作为持续任务适配的通用范式，强调其训练复杂度与任务数量无关，并通过静态和动态版本降低调优成本、缓解过拟合与遗忘。这提示读者：在需要不断接入新任务的大模型应用中，参数高效调优不只是减少可训练参数，还需关注任务序列增长带来的成本与遗忘问题，ConPET的设计思路提供了兼顾两者的参考。
压缩模型上的知识保持策略
CPET关注LLM压缩技术对PET性能的影响，并提出知识继承与恢复策略来弥补压缩导致的知识丢失。实验显示，针对压缩模型训练的特定任务PET模块能达到与原始LLM可比的效果，且优于直接将基础PET用于压缩模型。这说明在部署资源受限时，压缩与PET结合需要专门适配，而非简单叠加。
隐私保护下的领域自适应预训练
FFDAPT将域自适应预训练与联邦学习结合，在保护数据隐私的同时利用分布式数据增强模型适应性。文中称其平均节省12.1%计算资源，并在独立同分布和非独立同分布情况下保持与中心化模型相当的表现。这为需要在敏感数据上做领域适配的场景提供了可参考的折中方案，但读者也需注意其效果依赖于联邦设置的具体条件。
多模态与视觉语言任务的PET拓展
PETAL通过指令调整和多模态对齐训练通用视觉-语言模型，借助模式近似技术降低训练成本和对重计算资源的依赖；DCP则基于CLIP进行深度交互式跨模态提示学习，在少样本分类和域自适应分析中表现出泛化能力。这些工作表明PET思路已从纯文本任务延伸到多模态场景，但文章未给出统一比较，读者应结合具体任务评估适用性。
Q&A
ConPET是什么？它有什么特点？
ConPET是一种用于大型语言模型持续任务适应的通用范式，其训练复杂度与任务数量无关，通过静态和动态版本降低调优成本，并缓解过拟合和遗忘问题。
CPET框架如何解决压缩LLM带来的知识丢失问题？
CPET在评估LLM压缩技术对PET性能的影响后，引入知识继承和恢复策略来恢复因压缩导致的知识丢失。实验表明，与压缩LLM结合的特定任务PET模块能达到与原始LLM相当的性能，并优于直接将基本PET应用于压缩LLM。
UniPT是什么？它有什么优势？
UniPT是一种名为通用并行调优的内存高效PETL策略，通过轻量级可学习并行网络进行传输过程，减少内存消耗，并在不同架构上于低内存场景下实现更高性能。
FFDAPT如何结合联邦学习和域自适应预训练？效果如何？
FFDAPT是首次将域自适应预训练（DAPT）与联邦学习（FL）结合的方法，能在保护数据隐私的同时利用更敏感和分布式的数据增强模型适应性。它平均节省12.1%的计算资源，并在IID和非IID情况下均保持与中心化模型相当的表现。
PETAL是什么？它有什么创新点？
PETAL是一种通过参数高效调优、利用指令调整和多模态对齐的通用视觉-语言模型训练方法。其独特模式近似技术显著减少训练成本和对重计算资源的依赖，并在语义深度方面改进。实验证明PETAL在多个方面超越现有最先进方法，在少样本设置中也展现优势。
DCP方法是什么？它在少样本学习上表现如何？
DCP是一种基于CLIP的深度交互式跨模态提示学习方法，通过良好连接的多头注意力模块逐步且稳定地交换视觉和语言的表示。在11个图像分类数据集上的综合少样本学习实验和域自适应能力分析显示，DCP表现出超凡的少样本泛化性能和具有吸引力的域适应能力。
