Nature封面：AI训练AI，越训越离谱
内容提要
一项发表在《自然》杂志上的研究发现，使用由AI生成的数据训练大型模型可能导致不可逆转的模型崩溃。模型崩溃是指模型失去方差并最终完全崩溃的现象。研究指出，模型崩溃主要由统计近似误差、函数表达误差和函数逼近误差等三个特定误差源复合导致。研究建议访问原始数据源并仔细过滤数据，以保持模型的准确性。
延伸解读
模型崩溃的不可逆性
研究指出，模型崩溃是一个不可逆的过程。一旦模型在生成数据上过度训练，就会失去方差，最终完全崩溃。早期表现为在少数数据上性能下降，后期则收敛到与原始分布几乎无相似之处的分布。即使原始数据一直保留，崩溃仍会发生，模型会忘记真实信息并生成重复内容。
三个误差源的复合效应
模型崩溃由统计近似误差、函数表达误差和函数逼近误差复合导致。统计近似误差源于样本有限，重采样丢失信息；函数表达误差因神经网络表达能力有限，无法完美逼近分布；函数逼近误差来自学习过程的局限性，如随机梯度下降的结构偏差。这些误差在几代模型中累积，导致整体误差增加。
互联网数据污染的现实挑战
互联网上充斥着AI生成的内容，难以与人类生成内容区分。这意味着即使不想使用合成数据，训练数据也可能已被污染。模型崩溃会忽略训练数据中的不常见元素，减少少数群体或观点的代表性，对生成式AI的公平性构成挑战。大型科技公司已开始调整算法，降低AI生成内容的优先级。
应对策略与社区协作
研究建议访问原始数据源并仔细过滤数据，以保持模型准确性。AI社区可以协调合作，追踪输入到模型中的信息来源。否则，随着技术广泛应用，如果无法获得技术普及前爬取的数据或大量人类生成数据，训练新LLM版本将越来越困难。
Q&A
什么是模型崩溃？
模型崩溃是指模型在训练过程中失去方差并最终完全崩溃的现象，通常由于对合成数据进行不加区分的训练所致。
导致模型崩溃的主要误差源有哪些？
模型崩溃主要由统计近似误差、函数表达误差和函数逼近误差三种特定误差源复合导致。
如何避免模型崩溃？
研究建议访问原始数据源并仔细过滤数据，以保持模型的准确性，避免使用过多的合成数据进行训练。
模型崩溃对大型语言模型有什么影响？
模型崩溃可能导致大型语言模型忽略训练数据中的不常见元素，从而无法反映世界的复杂性和细微差别。
研究中提到的案例研究是什么？
研究中提到的案例是使用文本生成模型OPT-125m进行微调，展示了模型从讨论教堂建筑到生成虚构的长耳大野兔的过程。
为什么使用AI生成的数据训练模型可能是个坏主意？
使用AI生成的数据训练模型可能导致模型自我退化，最终生成无法挽回的错误内容，形成模型崩溃。
