量子位
·
大模型“自学”后能力反下降，Llama/Mistral都没逃过
💡
原文中文，约2500字，阅读约需6分钟。
📝
内容提要
上海交通大学GAIR团队的研究发现，AI在多轮“自我提升”后可能出现“自我提升逆转”现象，能力下降，回答变得千篇一律，失去创造力和适应新情况的能力。研究还发现，AI在面对新问题时表现更差，只是死记硬背而非真正理解和学习。研究团队呼吁全面考虑AI的问题解决能力、创造力和灵活性。
🎯
关键要点
- 上海交通大学GAIR团队的研究发现AI在多轮自我提升后可能出现能力下降现象。
- 这种现象被称为自我提升逆转，导致AI的回答变得千篇一律，失去创造力。
- AI在面对新问题时表现更差，显示出死记硬背而非真正理解和学习的趋势。
- 研究将迭代后训练分为答案采样、训练集构建和模型后训练三个步骤。
- 研究发现训练次数、AI基础能力和问题类型等因素影响AI学习效果。
- AI的能力幻觉表现在它并没有真正学会解决更难的问题，只是擅长挑选已知答案。
- 随着训练次数增加，AI的回答变得越来越相似，失去了多样性。
- 经过多轮自学的AI在面对新类型问题时表现更差，说明其泛化能力下降。
- GAIR团队呼吁全面考虑AI的问题解决能力、创造力和灵活性。
- 实验室专注于生成式人工智能的基础研究和社会影响，致力于培养顶尖人才。
❓
延伸问答
什么是自我提升逆转现象？
自我提升逆转是指AI在多轮自我提升后，能力反而下降，表现出回答千篇一律和缺乏创造力的现象。
AI在面对新问题时表现为何更差？
AI在面对新问题时表现更差是因为它倾向于死记硬背，而非真正理解和学习。
研究中提到的训练步骤有哪些？
研究将迭代后训练分为答案采样、训练集构建和模型后训练三个步骤。
AI能力幻觉是什么？
能力幻觉是指AI并没有真正学会解决复杂问题，而是变得更擅长从已知答案中挑选正确的答案。
多轮自学对AI的回答多样性有什么影响？
随着训练次数增加，AI的回答变得越来越相似，失去了原有的创意和多样性。
GAIR团队对AI未来发展的看法是什么？
GAIR团队认为，AI的未来发展需要全面考虑其问题解决能力、创造力和灵活性，以实现真正的潜力。
➡️
