BriefGPT - AI 论文速递 · 2024-12-24T00:00:00Z

Beyond Gradient Averaging in Parallel Optimization: Enhancing Robustness through Gradient Agreement Filtering

📝

内容提要

本研究提出了一种名为梯度一致性过滤（GAF）的方法，以提高分布式深度学习优化中的模型鲁棒性。该方法通过计算微梯度的余弦距离，过滤冲突更新，减少梯度方差，提升验证准确率，并显著降低噪声标签的记忆现象。

🏷️

标签

噪声标签 梯度一致性过滤 梯度方差 模型鲁棒性 深度学习