本文提出了一种基于权重平均和增强平均预测的持续测试时间自适应方法,旨在解决深度学习中的测试时间域适应问题。该方法有效避免了疾病遗忘和噪声伪标签带来的错误积累,并在多个基准测试中表现出显著的性能提升。此外,研究探讨了通过视觉提示实现动态适应的方法,显示出在动态环境中的优势。
本文介绍了一种新的深度学习权重平均训练框架——层次权重平均(HWA),该方法结合了在线和离线平均,显著提高了收敛速度和泛化性能。实验结果表明,HWA 优于现有方法,有效解决了传统方法面临的挑战。
权重平均通过平均不同超参数模型的参数来提升性能与鲁棒性,在图像分类和自然语言处理任务中达到新水平。稀疏模型汤利用迭代剪枝使稀疏模型参数可平均,增强泛化。随机权重平均(SWA)沿SGD轨迹采样平均,提高泛化且几乎无额外成本。后续研究提出SWEEN、HWA、DiWA等改进,并应用于半监督学习、知识蒸馏和鲁棒性分析。
完成下面两步后,将自动完成登录并继续当前操作。