大模型“自学”后能力反下降，Llama/Mistral都没逃过
内容提要
上海交通大学GAIR团队的研究发现，AI在多轮“自我提升”后可能出现“自我提升逆转”现象，能力下降，回答变得千篇一律，失去创造力和适应新情况的能力。研究还发现，AI在面对新问题时表现更差，只是死记硬背而非真正理解和学习。研究团队呼吁全面考虑AI的问题解决能力、创造力和灵活性。
延伸解读
自我提升逆转：刷分不等于能力提升
研究发现，AI在多轮自我提升后，虽然测试分数提高，但实际解决问题的能力可能下降。这被称为“自我提升逆转”。模型可能只是更擅长从已知答案中挑选，而非真正学会解决更难的问题。这种“能力幻觉”意味着评估AI时不能只看分数，更要关注其真实的问题解决能力。
多样性丧失：AI回答趋于千篇一律
随着训练次数增加，AI的回答在语法、语义和逻辑多样性上均下降，变得千篇一律。无论采用迭代SFT、DPO还是SFT-DPO方法，模型都失去了原有的创造力和适应新情况的能力。这提示我们，在优化AI性能时，需警惕多样性丧失带来的负面影响。
泛化能力下降：AI可能只是死记硬背
研究显示，经过多轮自学的AI在面对新类型问题时表现更差，简单与困难问题上的表现差距拉大。这表明模型可能只是死记硬背，而非真正理解和学习。因此，评估AI时需测试其泛化能力，确保它能灵活应对未知情况。
训练因素影响：次数、基础能力与问题类型
研究将迭代后训练分为答案采样、训练集构建和模型后训练三步，并发现训练次数、AI基础能力和问题类型影响学习效果。通常训练4-5次后进步不明显；最聪明的AI不一定学得最快，但最终表现更好；常识问答和简单数学学得快，复杂数学和编程较难。不同问题可能需要不同训练方法。
Q&A
什么是自我提升逆转现象？
自我提升逆转是指AI在多轮自我提升后，能力反而下降，表现出回答千篇一律和缺乏创造力的现象。
AI在面对新问题时表现为何更差？
AI在面对新问题时表现更差是因为它倾向于死记硬背，而非真正理解和学习。
研究中提到的训练步骤有哪些？
研究将迭代后训练分为答案采样、训练集构建和模型后训练三个步骤。
AI能力幻觉是什么？
能力幻觉是指AI并没有真正学会解决复杂问题，而是变得更擅长从已知答案中挑选正确的答案。
多轮自学对AI的回答多样性有什么影响？
随着训练次数增加，AI的回答变得越来越相似，失去了原有的创意和多样性。
GAIR团队对AI未来发展的看法是什么？
GAIR团队认为，AI的未来发展需要全面考虑其问题解决能力、创造力和灵活性，以实现真正的潜力。
