本文介绍了R-Drop,一种基于Dropout的正则化方法,它通过使用若干次Dropout,定义新的损失函数,约束两次输出一致,以防止模型过拟合,提高模型正确率。实验结果表明,R-Drop能够明显提升模型性能。
完成下面两步后,将自动完成登录并继续当前操作。