Nature封面：AI训AI，越训越傻
内容提要
牛津、剑桥等学校的研究人员发现，使用合成数据训练大模型可能导致模型崩溃，进而影响下一代模型的训练数据集。模型崩溃与模型设计、学习过程和数据质量有关。研究人员评估了模型崩溃对语言模型的影响，发现随着时间推移，模型产生的错误会增加。科技公司已部署“水印”技术来排除AI生成的内容，但商业可行性有限。
延伸解读
模型崩溃的渐进性与早期信号
模型崩溃并非突然发生，而是一个渐进过程。早期阶段，模型开始丢失训练数据中的尾部信息，即低概率事件；晚期则完全偏离原始分布。在OPT-125m的测试中，前几轮微调尚可，但到第九次就开始产生荒谬回答。这提示从业者需监控模型输出的多样性，及早发现性能退化迹象。
合成数据训练的风险与误差来源
使用合成数据训练大模型可能导致模型崩溃，其根源可归结为三种误差：统计近似误差、函数表达性误差和函数近似误差。统计近似误差源于样本有限，函数表达性误差因神经网络表达能力有限，函数近似误差则来自学习过程的局限性。这些误差在迭代训练中累积，最终使模型输出同质化并遗忘低概率事件。
水印技术的局限与行业协调难题
为应对合成数据污染，一些科技公司部署了“水印”技术，标记AI生成内容以便在训练中排除。然而，该技术需要科技公司之间协调，商业可行性有限。这意味着单靠技术手段难以根治问题，行业标准与合作至关重要。同时，早期从互联网获取数据训练的公司可能因数据更真实而具有先发优势。
Q&A
什么是模型崩溃？
模型崩溃是一个退化过程，导致模型生成的内容污染下一代训练数据集，从而影响模型的表现。
使用合成数据训练大模型有什么风险？
使用合成数据训练大模型可能导致模型崩溃，增加错误率，并使模型输出同质化，遗忘低概率事件。
模型崩溃的主要原因是什么？
模型崩溃主要与模型设计、学习过程和数据质量有关，具体包括统计近似误差、函数表达性误差和函数近似误差。
研究人员如何评估模型崩溃对语言模型的影响？
研究人员通过微调Meta的OPT-125m模型，观察随着训练轮次增加，模型产生的错误如何增加，并分析其输出的同质化现象。
科技公司如何应对AI生成内容的问题？
一些科技公司已部署“水印”技术，以标记AI生成的内容，从而在训练数据中排除这些内容，但商业可行性有限。
模型崩溃的早期和晚期有什么区别？
早期模型崩溃表现为丢失尾部信息，而晚期模型崩溃则与原始分布几乎无相似之处，导致严重的性能下降。
