Nature封面：AI训练AI，越训越离谱

研究发现，使用AI生成的数据训练大型模型可能导致不可逆转的模型崩溃。

模型崩溃是指模型失去方差并最终完全崩溃的现象。

模型崩溃主要由统计近似误差、函数表达误差和函数逼近误差等三个特定误差源复合导致。

研究强调访问原始数据源并仔细过滤数据，以保持模型的准确性。

当人工智能模型在生成的数据上进行过度训练时，会发生不可逆转的模型崩溃。

大型语言模型需要巨量数据进行训练，忽略部分数据会导致模型退化。

模型崩溃的早期阶段表现为在少数数据上的表现下降，后期阶段则完全崩溃。

模型崩溃效应是一种退化过程，生成的数据会污染下一代模型的训练集。

模型崩溃的三个特定误差源分别是统计近似误差、函数表达误差和函数逼近误差。

模型崩溃在各种机器学习模型中普遍存在，尤其是大型语言模型。

研究提供了一个使用文本生成模型的案例，展示了模型崩溃的现象。

互联网上充斥着AI生成的内容，难以区分正常内容与合成内容。

模型崩溃可能导致对生成式AI的公平性构成挑战，减少少数群体或观点的代表性。

大型科技公司正在采取措施减少用户看到的AI生成内容。

研究建议AI社区协调合作，追踪输入到模型中的信息来源，以便训练新的LLM版本。