本文研究了预训练数据中的标签噪声对深度学习模型的影响，并提出了一种调节方法来减轻噪声的恶性效应。实验证明，轻微噪声预训练对域内任务有益，但对域外任务造成恶化。该方法可以改善模型的泛化能力。研究结果表明噪声模型学习是一个重要的研究方向。

本文研究了深度学习中预训练数据中噪声的特性，并提出了一种轻量级的黑盒调节方法（NMTune），来对齐特征空间，减轻噪声的恶性效应，并改善在域内和域外任务上的泛化能力。实验结果表明，轻微噪声预训练可以在域内传输性能上有益，但总是会对域外性能造成恶化。