SAFT: 朝向微调的超出分布泛化
内容提要
本文探讨了多种微调方法在少样本OOD检测中的有效性，提出了稀疏增量微调（SIFT）、敏感性意识微调（SAFT）和对抗微调（PMG-AFT）等新算法，并在多个任务上验证了其性能提升。此外，研究还介绍了视觉联合学习方法ViSFT和分层渐进适应微调（SPAFIT），显示出在不同基准测试中的显著改进。
延伸解读
微调方法在少样本OOD检测中的融合策略
文章指出，将领域特定与通用知识融合（DSGF）整合到多种微调方法中，能显著提升少样本OOD检测能力。这表明，单纯依赖通用预训练模型可能不足以应对分布外样本，而结合下游领域知识进行微调是关键。读者可关注DSGF如何与不同微调算法协同，以平衡泛化与特化。
SAFT：噪声注入训练的效率优势
SAFT通过噪声注入训练并冻结特定层，在提升噪声敏感层性能的同时，达到了与常规噪声注入方法相当的精度，且速度快2至8倍。这提示我们，在资源受限的场景下，SAFT提供了一种高效的微调选择，尤其适合需要快速迭代的少样本任务。
对抗微调PMG-AFT的鲁棒性提升
PMG-AFT利用原始预训练模型的监督来增强零样本对抗鲁棒性，在15个数据集上平均提升4.99%的抗干扰准确率，同时干净准确率也提高8.72%。这说明对抗微调不仅能抵御干扰，还能兼顾正常性能，为安全关键应用提供了参考。
参数高效微调的新进展：SPAFIT与WiSE-FT
SPAFIT基于模型层次的语言知识定位，仅微调少量参数即在GLUE上超越其他PEFT方法；WiSE-FT通过加权平均预训练模型提升鲁棒性，且不增加计算成本。两者均展示了在有限资源下提升模型泛化能力的潜力，值得关注其在不同任务中的适用性。
Q&A
什么是敏感性意识微调（SAFT）方法？
敏感性意识微调（SAFT）方法通过噪声注入训练提高模型精度，速度快 2 倍至 8 倍。
稀疏增量微调（SIFT）算法的主要优势是什么？
稀疏增量微调（SIFT）算法通过基于梯度的方式显著提高了少样本OOD检测能力，并在多个任务上验证了其有效性。
AutoFT方法在分布转移任务中的表现如何？
AutoFT方法在多个分布转移任务上表现出色，显著提高了对新异常数据的泛化能力，并在基准测试中取得了最佳结果。
预训练模型引导的对抗微调（PMG-AFT）方法的效果如何？
PMG-AFT方法在抗干扰准确性方面显著优于最先进的方法，平均提高了4.99%，并持续改善干净准确性，平均提高了8.72%。
ViSFT方法如何增强视觉基础模型的知识？
ViSFT方法通过视觉联合学习增强视觉基础模型的精细知识，在多个基准测试中展示了显著改进。
分层渐进适应微调（SPAFIT）方法的特点是什么？
SPAFIT方法在微调期间仅调整参数的一小部分，优于其他PEFT方法，显示出更好的性能。
