本文研究了预训练数据中的标签噪声对深度学习模型的影响，并提出了一种调节方法来减轻噪声的恶性效应。实验证明，轻微噪声预训练对域内任务有益，但对域外任务造成恶化。该方法可以改善模型的泛化能力。研究结果表明噪声模型学习是一个重要的研究方向。