权重平均通过平均不同超参数模型的参数来提升性能与鲁棒性，在图像分类和自然语言处理任务中达到新水平。稀疏模型汤利用迭代剪枝使稀疏模型参数可平均，增强泛化。随机权重平均（SWA）沿SGD轨迹采样平均，提高泛化且几乎无额外成本。后续研究提出SWEEN、HWA、DiWA等改进，并应用于半监督学习、知识蒸馏和鲁棒性分析。