RADIN：在预算范围内煲汤
内容提要
权重平均通过平均不同超参数模型的参数来提升性能与鲁棒性，在图像分类和自然语言处理任务中达到新水平。稀疏模型汤利用迭代剪枝使稀疏模型参数可平均，增强泛化。随机权重平均（SWA）沿SGD轨迹采样平均，提高泛化且几乎无额外成本。后续研究提出SWEEN、HWA、DiWA等改进，并应用于半监督学习、知识蒸馏和鲁棒性分析。
延伸解读
权重平均的演进脉络
文章梳理了权重平均技术从2018年SWA到2023年DiWA的发展。SWA通过沿SGD轨迹采样平均，几乎零成本提升泛化；后续SWEEN、HWA、DiWA分别针对鲁棒性、收敛速度、域泛化等改进。稀疏模型汤则解决稀疏模型参数不可平均的问题，使剪枝模型也能受益。这些工作显示权重平均是一个持续活跃的研究方向。
稀疏模型汤的实用价值
稀疏模型汤通过迭代剪枝使不同超参数下的稀疏模型参数可平均，从而增强泛化。这对于需要在资源受限环境中部署稀疏模型的场景很有意义，因为可以在不增加推理成本的前提下，通过平均多个稀疏模型来提升性能。但文章也指出，权重平均存在局限性，并非所有稀疏模型都能直接平均。
跨任务应用的广泛性
权重平均不仅用于图像分类，还扩展到自然语言处理、半监督学习、知识蒸馏和鲁棒性分析。例如，SWA与ALBERT结合可提升情感分析鲁棒性；基于权重平均的蒸馏方法能将多个教师网络的功能多样性压缩到学生网络。这表明该技术具有较好的通用性，但不同任务中的具体效果需进一步验证。
Q&A
权重平均为什么能提升模型性能？
权重平均通过平均不同超参数配置下微调的模型参数，提高现有模型的性能和鲁棒性，从而在多个图像分类和自然语言处理任务中达到新的最先进技术水平。
稀疏模型汤是什么？
稀疏模型汤是一种稀疏神经网络模型的组合方法，使用迭代剪枝技术，通过在众多超参数配置中重新训练模型以获得相同的稀疏性，使得多个稀疏模型之间的参数能够平均并且相容，从而增强泛化能力。
随机权重平均（SWA）有什么优点？
SWA通过在SGD轨迹上抽样多个点进行简单平均，实现了比传统训练更好的泛化，在CIFAR-10、CIFAR-100和ImageNet上对多个最先进网络有显著测试精度提高，而且实现简单、几乎不需要计算成本。
SWEEN模型有什么特点？
SWEEN是一种利用加权平滑的集成学习方案，能提高随机平均分类器的性能，帮助实现最佳认证鲁棒性，并通过有效训练获得最优性能；还提出自适应预测算法减少成本，实验证明其性能显著优于候选模型集的上限，采用少量小模型构建的SWEEN模型可在可接受时间内达到与单个大模型相当的性能。
HWA和DiWA分别是什么？
HWA是Hierarchical Weight Averaging，一种新的深度学习神经网络权重平均训练框架，通过整合在线和离线平均方法，同时提高收敛速度和泛化性能，实验证明明显优于现有方法。DiWA是Diverse Weight Averaging，通过多次独立训练获得的模型权重进行平均，以增加模型的功能多样性，并提出新的误差分解方法说明多模型平均在测试期间建模分布发生变化时成功的原因，实验证明在不增加推理开销的情况下始终提高了DomainBed基准的表现。
权重平均在知识蒸馏中如何应用？
有一种基于权重平均技术和扰动策略的集成神经网络蒸馏方法，有效地将多个教师网络的功能多样性吸收到一个适合资源受限环境中使用的学生网络中，并在多个图像分类任务上显著提高了性能。
SWA如何提升模型鲁棒性？
在情绪分析任务上的鲁棒性研究中，通过研究ALBERT与SWA的结合来分析SWA的稳定性，通过CheckList准则量化稳定性，发现SWA不仅可以降低错误率，还可以集成模型贯穿梯度下降轨迹的快照来提高稳定性。
