本文研究了深度学习中预训练数据中噪声的特性，并提出了一种轻量级的黑盒调节方法（NMTune），来对齐特征空间，减轻噪声的恶性效应，并改善在域内和域外任务上的泛化能力。实验结果表明，轻微噪声预训练可以在域内传输性能上有益，但总是会对域外性能造成恶化。