R-Drop论文复现与理论讲解

💡 原文中文,约7400字,阅读约需18分钟。
📝

内容提要

本文介绍了R-Drop,一种基于Dropout的正则化方法,它通过使用若干次Dropout,定义新的损失函数,约束两次输出一致,以防止模型过拟合,提高模型正确率。实验结果表明,R-Drop能够明显提升模型性能。

🏷️

标签

➡️

继续阅读