模型库：我们只需要一些微调的模型
内容提要
本文探讨了通过微调预训练模型提升图像分类和自然语言处理任务的性能与鲁棒性。研究提出了LEVI和WiSE-FT等方法，以改善模型在未见分布下的泛化能力和准确性。实验证明，这些方法能有效提升模型在内外部数据集上的表现，尤其是在处理离群样本时。
延伸解读
微调与鲁棒性的权衡
文章指出，微调预训练模型虽能提升下游任务性能，但可能损害模型在分布偏移下的鲁棒性。例如，全微调方法在分布偏移下错误率明显上升，而线性探针则能获得更好的鲁棒性。这揭示了微调技术中性能与鲁棒性之间的权衡关系，提醒研究者和实践者需根据应用场景选择合适方法。
提升OOD泛化的方法概览
为改善分布外泛化，文章介绍了LEVI、WiSE-FT、AutoFT、CaRot等方法。LEVI通过逐层集成和任务专属模型结合，抑制问题特征；WiSE-FT对预训练模型加权平均，提升鲁棒性且不增加计算成本；AutoFT数据驱动指导微调；CaRot校准鲁棒微调。这些方法从不同角度缓解微调带来的鲁棒性下降。
评估需兼顾内分布与离群性能
文章强调，评估预训练模型在下游任务中的性能时，除内分布准确性外，还必须评估其泛化到未见分布和识别离群样本的能力。侵入性微调技术可能带来隐藏成本，如降低离群检测性能。因此，全面的评估应包含内分布分类、离群泛化和离群检测等多个维度，以选择更安全、强大的下游模型。
Q&A
微调预训练模型的主要目的是什么？
主要目的是提高图像分类和自然语言处理任务的性能与鲁棒性。
LEVI和WiSE-FT方法有什么不同之处？
LEVI通过逐层集成和小型任务专属模型结合来改善泛化能力，而WiSE-FT通过加权平均提高模型的鲁棒性。
如何提高模型在未见分布下的泛化能力？
可以通过使用LEVI方法进行逐层集成和结合小型任务专属模型来提高泛化能力。
WiSE-FT方法的优势是什么？
WiSE-FT方法能够在不增加额外计算成本的情况下显著提升模型在分布移位下的准确性。
微调技术在模型鲁棒性方面存在哪些挑战？
微调技术可能导致模型在分布偏移下的错误率上升，影响鲁棒性。
如何评估预训练模型在下游任务中的性能？
需要评估模型的内分布准确性以及其对离群样本的识别能力。
