神经语言模型的逐层正则化丢弃
内容提要
该文综述了多种深度学习正则化方法，重点介绍R-Drop、LayerDrop、DropHead、DropDim等dropout技术，用于提升Transformer等模型性能。这些方法在机器翻译、语言建模、文本分类等任务中有效减少过拟合，部分实现最先进结果或加速训练。
延伸解读
从随机丢弃到结构化丢弃的演进
文章梳理的多种方法显示，dropout技术已从早期对RNN/LSTM的随机丢弃，发展为针对Transformer结构的定向丢弃。例如LayerDrop丢弃整个层，DropHead丢弃注意力头，DropDim丢弃嵌入维度。这种演进旨在更高效地利用模型组件并减少过拟合，同时为推理时剪枝提供可能。
R-Drop与UniDrop：一致性正则与整合策略
R-Drop通过强制不同子模型输出分布一致来提升效果，在5个任务上验证了普适性，并在Vanilla Transformer上达到最先进性能。UniDrop则整合多种dropout技术，在IWSLT14翻译任务中带来约1.5 BLEU提升，并在预训练RoBERTa上提高文本分类准确率。两者都强调正则化对模型泛化的关键作用。
效率提升：渐进式层丢弃与训练加速
渐进式层丢弃方法通过模型结构和训练技术的改进，加速了Transformer语言模型的训练。相比基准实验，每个样本平均节省24%的时间，预训练速度提高2.5倍，同时保持强的知识可迁移性。这表明结构化丢弃不仅能正则化，还能直接优化训练效率，对大规模预训练有实用价值。
方法互补性与应用场景
文章提到DropDim能与其他正则化方法互补，AttendOut则增强自注意力预训练模型的鲁棒微调能力。这些方法在机器翻译、语言建模、文本分类等任务中有效，但各自针对不同组件（层、头、维度、输出分布）。读者可根据任务需求和模型结构选择或组合使用，而非依赖单一技术。
Q&A
R-Drop 是什么？它有什么作用？
R-Drop 是一种简单的正则化方法，它强制不同子模型生成的输出分布相互一致，从而提高深度学习模型的效果。在神经机器翻译、摘要概括、语言理解、语言建模和图像分类等任务上实验证明普遍有效，并在 Vanilla Transformer 模型上实现了最先进的性能。
LayerDrop 和普通 dropout 有什么区别？
LayerDrop 是一种结构化 dropout，在训练过程中实现正则化效果，在推理时允许有效的剪枝。它通过丢弃整个层来工作，而普通 dropout 通常随机丢弃神经元。实验证明对机器翻译、语言模型、文本摘要、问答和语言理解等基准测试有提升，并能得到更高质量的类 BERT 模型。
DropHead 是如何工作的？它针对 Transformer 的哪个部分？
DropHead 是一种专门为规范化 Transformer 的关键组件——多头注意机制而设计的结构性 dropout 方法。它在训练期间将整个注意力头丢弃，以使得多头注意力模型更高效地利用注意力头，同时减少过拟合风险。
DropDim 与通用的随机丢弃方法有何不同？
DropDim 是一种用于规范 Transformer 中自我注意力机制的结构化丢弃方法。与通用的随机丢弃方法不同，DropDim 会丢弃嵌入维度的一部分，从而避免嵌入维度间的过多协同适应。实验证明能有效提高模型性能，在防止过拟合和与其他规范方法互补方面表现出色。
有哪些 dropout 技术可以加速 Transformer 语言模型的训练？
基于渐进式层丢弃的方法可以加速基于 Transformer 的语言模型的训练，相较于基准实验可以在每个样本上平均节省 24% 的时间，让预训练速度提高 2.5 倍，同时保持强的知识可迁移性。
UniDrop 在 Transformer 训练中有什么效果？
UniDrop 将不同的 dropout 技术整合到 Transformer 模型的训练中，从而提高其性能。实验结果表明，使用 UniDrop 可以在 IWSLT14 翻译任务中取得约 1.5 BLEU 的改进，并且即使在强大的预训练 RoBERTa 下，文本分类的准确性也有所提高。
