量子位
·
Nature封面：AI训AI，越训越傻
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
牛津、剑桥等学校的研究人员发现，使用合成数据训练大模型可能导致模型崩溃，进而影响下一代模型的训练数据集。模型崩溃与模型设计、学习过程和数据质量有关。研究人员评估了模型崩溃对语言模型的影响，发现随着时间推移，模型产生的错误会增加。科技公司已部署“水印”技术来排除AI生成的内容，但商业可行性有限。
🎯
关键要点
- 牛津、剑桥等学校的研究人员发现，使用合成数据训练大模型可能导致模型崩溃。
- 模型崩溃与模型设计、学习过程和数据质量有关，影响下一代模型的训练数据集。
- 研究团队测试了Meta的OPT-125m模型，发现随着训练轮次增加，模型产生的错误会增加。
- 模型崩溃是一个退化过程，导致模型生成的内容污染下一代训练数据集。
- 模型崩溃分为早期和晚期，早期模型丢失尾部信息，晚期模型与原始分布几乎无相似之处。
- 模型崩溃的三个误差包括统计近似误差、函数表达性误差和函数近似误差。
- 研究人员评估了模型崩溃对语言模型的影响，发现模型输出变得同质化，遗忘低概率事件。
- 一些科技公司已部署“水印”技术来排除AI生成的内容，但商业可行性有限。
➡️
