OLOR：已开源，向预训练权值对齐的强正则化方法 | AAAI 2024 - 晓飞的算法工程笔记
内容提要
随着预训练视觉模型的兴起，论文提出了一种基于权值回滚的微调方法OLOR，通过合并权值回滚项到优化器的权值更新项中，减少知识遗忘并增强微调性能。同时，采用逐层惩罚和多样化衰减率来调整不同层的权值回滚级别，适应不同的下游任务。实验证明OLOR在各种任务上具有普遍适用性和最先进的性能。
延伸解读
权值回滚如何避免传统正则化的延迟缺陷
文章指出，L2正则化和权值衰减在自适应优化器中可能产生与预期相反的效果，甚至使权值远离零点。OLOR通过将权值回滚项合并到优化器更新中，实时跟踪权值变化，使当前权值逐步逼近预训练权值，从而避免延迟缺陷，更有效地减少知识遗忘。
逐层惩罚的设计逻辑与作用
OLOR采用逐层惩罚机制，根据层深度调整权值回滚强度。浅层负责颜色、纹理等通用特征，因此施加更强的回滚以保留预训练知识；深层负责语义等任务特定特征，回滚较弱以允许更多更新。这种设计平衡了通用特征保留与下游任务适应。
多样化衰减率提升任务适应性
为了适应不同下游任务与预训练任务的差异程度，OLOR引入幂指数γ来调整层间惩罚衰减率。通过动态改变衰减曲线，模型能更灵活地控制各层的回滚级别，避免固定衰减率带来的偏差，从而增强方法在不同任务上的通用性。
OLOR的通用性与计算效率
OLOR可无缝集成到Adam、SGD等常见优化器中，额外计算开销可忽略不计。实验表明，在图像分类、目标检测、语义分割和实例分割等任务上，OLOR均达到最先进性能，展现出广泛的适用性和高效性。
Q&A
OLOR方法的主要目标是什么？
OLOR方法旨在减少知识遗忘并增强微调性能。
OLOR是如何减少知识遗忘的？
OLOR通过将权值回滚项合并到优化器的权值更新项中，确保上下游模型权值的一致性，从而减少知识遗忘。
逐层惩罚在OLOR中有什么作用？
逐层惩罚用于调整不同层的权值回滚级别，以适应不同的下游任务，鼓励浅层提取更通用的特征。
OLOR在实验中表现如何？
实验表明，OLOR在图像分类、对象检测、语义分割和实例分割等任务上具有普遍适用性和最先进的性能。
与传统微调方法相比，OLOR有什么优势？
与传统的线性探测和完全微调方法相比，OLOR有效减少了知识遗忘问题，提供了更好的微调性能。
权值回滚技术的基本原理是什么？
权值回滚技术通过实时正则化，使当前模型权值更接近预训练权值，从而减轻过度拟合和知识遗忘。
