STLM工程报告： dropout
内容提要
本研究比较了Dropout和随机Delta规则（SDR）算法在神经网络参数估计中的表现，结果显示SDR优于Dropout。提出的上下文辍学模块和R-Drop方法在多个深度学习任务中表现出色，有效防止过拟合。此外，AD-DROP策略通过注意力机制提升模型预测能力。研究还探讨了小规模语言模型的预训练效果及模型崩溃问题，提出混合真实与合成数据的训练方法以避免崩溃。
延伸解读
Dropout 的演进：从基础正则化到注意力与参数高效微调
文章梳理了 Dropout 技术的多个发展方向。早期研究比较了 Dropout 与随机 Delta 规则（SDR），发现 SDR 在参数估计上更优。随后，上下文辍学模块通过样本依赖性设计提升了可扩展性和不确定性估计质量。R-Drop 则通过强制子模型输出分布一致，在多个任务上取得先进性能。AD-DROP 利用注意力机制避免过度舍弃高注意力位置，防止过拟合。这些进展表明 Dropout 已从简单的正则化手段演变为结合注意力、一致性约束的精细化工具。
训练策略与模型规模：Dropout 使用时机及小模型预训练特性
文章指出，在训练开始时使用 Dropout 可减弱梯度方向差异，限制单个批次的影响，从而提升泛化精度，这与仅在训练后期使用的策略不同。对于小规模语言模型，掩码语言建模（MLM）对 1.25M 及以上规模的模型有优化效果，且预训练困惑度与下游 GLUE 表现强相关。但 FLOPs 低于 2.2×10^15 时，MLM 损失并不随计算成本降低而平滑缩小，增加层数也不总能提升下游表现，提示小模型预训练需谨慎权衡规模与计算效率。
模型崩溃与合成数据：混合真实数据是关键
文章探讨了生成模型在自身输出上训练可能导致的模型崩溃问题。理论及实证研究表明，仅使用合成数据训练无法避免崩溃，但混合真实数据与合成数据时，只要合成数据量不超过一定阈值，崩溃最终可以避免。此外，针对语言模型随机输出能力不足的问题，文章提出一种微调方法，鼓励模型产生分散的输出分布，从而提升合成数据集生成的实用性。这些发现对依赖合成数据训练大模型的实践具有重要警示和指导意义。
Q&A
Dropout和随机Delta规则（SDR）算法的比较结果是什么？
研究表明，SDR在神经网络参数估计中表现优于Dropout。
什么是上下文辍学模块，它的优势是什么？
上下文辍学模块是一种可伸缩的样本依赖性辍学方法，在大规模数据集上展示了更好的准确性和不确定性估计质量。
R-Drop方法如何提升深度学习模型的效果？
R-Drop通过强制不同子模型生成一致的输出分布，从而提高模型效果，在多个任务上表现出色。
AD-DROP策略是如何防止过拟合的？
AD-DROP通过注意力机制防止高注意力位置被过度舍弃，从而提高模型的预测能力并避免过拟合。
在训练开始时使用dropout有什么好处？
在训练开始时使用dropout可以减弱梯度方向差异，提高模型的泛化精度。
模型崩溃问题是什么，如何避免？
模型崩溃是指使用合成数据训练新模型时性能下降，混合真实与合成数据的训练方法可以避免这一问题。
