本文探讨了模型崩溃的误解，指出存在八种不同且相互矛盾的定义，导致对模型崩溃的理解受阻。研究表明，某些预测基于不切实际的假设，许多崩溃情景是可以避免的。

本研究探讨了模型崩溃问题，比较了丢弃工作流与增强工作流。结果显示，丢弃工作流导致模型退化，而增强工作流有效避免了这一问题。对于经典线性回归，增强工作流的风险边界为目标风险的$π^2/6$倍，揭示了不同工作流下模型表现的差异。

本文探讨了生成模型在混合真实与合成数据训练中的稳定性问题，提出了理论框架分析模型崩溃现象。研究表明，合成数据的增加可能导致模型性能下降，但在适当比例的真实数据支持下，可以有效缓解这一问题。实验验证强调了平衡真实与合成数据的重要性，以促进生成式人工智能的可持续发展。

Shumailov等人（2024）的研究表明，反复在合成数据上训练生成模型会导致模型崩溃。通过核密度估计法进行数据分布拟合和多次抽样，研究提供了对这一现象的理论理解，指出模型崩溃是不可避免的统计现象。

本文研究了语言模型性能与交叉熵损失的关系，发现模型规模、数据集大小和计算量呈幂律关系。研究表明，混合使用真实数据与合成数据训练可以缓解模型崩溃现象，并提出自适应正则化策略以减轻影响。模型崩溃指在使用合成数据训练新模型时性能下降，因此需谨慎选择训练数据。

牛津、剑桥等学校的研究人员发现，使用合成数据训练大模型可能导致模型崩溃，进而影响下一代模型的训练数据集。模型崩溃与模型设计、学习过程和数据质量有关。研究人员评估了模型崩溃对语言模型的影响，发现随着时间推移，模型产生的错误会增加。科技公司已部署“水印”技术来排除AI生成的内容，但商业可行性有限。

本研究在简化环境中研究了大规模语言模型的模型崩溃现象，并提出了自适应正则化策略来减轻影响。

该文介绍了COLO-TRIDE框架，解决了模型崩溃和对抗性差的问题。实验证明该方法在鲁棒性和数据集上的表现优于当前最先进方法，平均水平提升了7%。同时提出了一种新的衡量图像检索鲁棒性的公平性指标，并将代码公开于GitHub。