SAFT: 朝向微调的超出分布泛化
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
本文探讨了多种微调方法在少样本OOD检测中的有效性，提出了稀疏增量微调（SIFT）、敏感性意识微调（SAFT）和对抗微调（PMG-AFT）等新算法，并在多个任务上验证了其性能提升。此外，研究还介绍了视觉联合学习方法ViSFT和分层渐进适应微调（SPAFIT），显示出在不同基准测试中的显著改进。
❓
Q&A
什么是敏感性意识微调（SAFT）方法？
敏感性意识微调（SAFT）方法通过噪声注入训练提高模型精度，速度快 2 倍至 8 倍。
稀疏增量微调（SIFT）算法的主要优势是什么？
稀疏增量微调（SIFT）算法通过基于梯度的方式显著提高了少样本OOD检测能力，并在多个任务上验证了其有效性。
AutoFT方法在分布转移任务中的表现如何？
AutoFT方法在多个分布转移任务上表现出色，显著提高了对新异常数据的泛化能力，并在基准测试中取得了最佳结果。
预训练模型引导的对抗微调（PMG-AFT）方法的效果如何？
PMG-AFT方法在抗干扰准确性方面显著优于最先进的方法，平均提高了4.99%，并持续改善干净准确性，平均提高了8.72%。
ViSFT方法如何增强视觉基础模型的知识？
ViSFT方法通过视觉联合学习增强视觉基础模型的精细知识，在多个基准测试中展示了显著改进。
分层渐进适应微调（SPAFIT）方法的特点是什么？
SPAFIT方法在微调期间仅调整参数的一小部分，优于其他PEFT方法，显示出更好的性能。
🏷️
