预训练 - 微调模式中出现的任务交叉线性
内容提要
本文综述预训练与微调关系的研究进展，涵盖辅助任务学习、有监督对比学习预训练、不变性传递度量、部分线性化多任务融合、正则化、持续微调、多级对比学习及任务头选择对特征适应的影响，以提升下游任务性能并平衡适应性与稳定性。
延伸解读
预训练与微调关系的度量视角
文章提到，有研究提出一系列度量指标，用于探讨预训练模型中不变性的传递性、微调过程中不变性的保留与丢失，以及预训练模型在下游任务中的表现变化。这为理解预训练与微调之间的关联提供了量化分析工具，有助于评估微调对模型不变性的影响。
多任务融合的部分线性化技术
文章介绍了一种部分线性化技术，通过融合精调的任务向量来构建统一的多任务模型，并在MNLI、QQP和CoLA任务上观察到线性路径上损失不断增加的现象。该技术相比标准参数高效微调取得了更好性能，同时揭示了不同模型泛化策略与损失表面几何形状的关系。
持续微调中的稳定性与适应性平衡
文章提及基于预训练表示的持续微调方法，使用线性化技术和二次参数正则化策略，在图像分类任务中实现高持续微调性能并防止遗忘，可应用于数据、任务和类增量学习。另一项研究通过避免更新预训练部分并学习新参数，在实时场景下平衡适应性与稳定性。
任务头选择对特征适应的影响
文章指出，任务头的选择会影响特征适应，进而影响下游性能。研究发现，精调初始阶段的训练准确度和损失变化对精调后特征效果有重大影响，高能量会增加特征的欧几里得和余弦距离，但点积和特征范数先增加后下降，并据此提出了一些实际原则。
Q&A
预训练和微调之间有什么关系？有哪些度量指标可以衡量？
预训练与微调之间的关系通过一系列度量指标来研究，包括预训练模型中不变性的传递性、微调过程中对不变性的保留与丢失，以及预训练模型在下游任务中的表现和变化。
在迁移学习中，如何提高微调模型的泛化性能？
可以采用正则化方法，推荐使用L2惩罚并将预训练模型作为基准的方法作为迁移学习任务的baseline。
什么是部分线性化技术？它如何改善多任务融合？
部分线性化技术用于改善多任务融合，通过融合精调的任务向量来构建统一的多任务模型，取得了比标准参数高效微调技术更好的性能。
如何实现持续微调并防止遗忘？
提出了一种基于预训练表示的持续微调模型的方法，使用线性化技术和二次参数正则化策略，可以在图像分类任务中实现高持续微调性能并防止遗忘，并可应用于数据、任务和类增量学习问题。
多级对比学习框架如何提高预训练模型的跨语言能力？
多级对比学习（ML-CTL）框架使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，采用交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响，显著提高了基础模型（mBERT）的跨语言迁移能力，并在Xtreme基准测试的多个零-shot跨语言下游任务中表现优异。
任务头的选择如何影响特征适应和下游性能？
通过分析任务头的选择对特征适应的控制，发现精细调节一开始的训练准确度和损失，在初始能量的变化对精调后特征的效果有重大影响，最终证明高能量会增加特征的欧几里得和余弦距离，但点积（和精调后特征的范数）会先增加后下降，并提出了一些实际原则来提高下游性能。
