量子位
·
大模型刷数学题竟有害？CMU评估20+模型指出训练陷阱
内容提要
CMU研究发现，数学能力强的大模型在其他领域的表现有限。只有通过强化学习（RL）训练的模型能够有效迁移数学推理技能，而监督微调（SFT）可能导致负迁移。研究表明，微调方法是影响迁移能力的关键，RL模型在保持原有知识的同时提升了特定领域的表现。
关键要点
-
CMU研究发现，数学能力强的大模型在其他领域的表现有限。
-
只有通过强化学习（RL）训练的模型能够有效迁移数学推理技能。
-
监督微调（SFT）可能导致负迁移，影响模型的迁移能力。
-
微调方法是影响迁移能力的关键，RL模型在保持原有知识的同时提升了特定领域的表现。
-
研究评估了20多个模型在数学推理和其他任务上的表现。
-
迁移能力指标（Transferability Index，TI）用于量化模型的迁移能力。
-
实验结果表明，微调方法、模型规模和架构影响迁移能力，微调方法是最关键的因素。
-
RL微调模型在表征空间上的偏移最小，保留了原有知识。
-
RL训练选择性地调整逻辑结构词条，而SFT可能损害泛化能力。
-
RL在LLM中的胜利预示着其在可迁移推理发展中的关键作用。
延伸解读
强化学习的优势
CMU的研究表明，强化学习（RL）训练的模型在迁移数学推理技能方面表现优异。这意味着，采用RL方法的模型不仅能在特定任务上取得好成绩，还能有效地将这些技能应用到其他领域，显示出更强的适应性和灵活性。
监督微调的风险
研究发现，使用监督微调（SFT）训练的模型可能导致负迁移，即在其他任务上的表现反而下降。这提醒研究者在选择微调方法时需谨慎，避免因优化某一领域而损害模型的整体能力。
迁移能力的评估
文章中提出的迁移能力指标（TI）为评估模型在不同任务间的迁移能力提供了量化依据。TI的高低直接反映了数学能力提升对其他领域的影响，研究者可以利用这一指标来优化模型训练策略。
延伸问答
为什么数学能力强的大模型在其他领域表现有限？
因为只有通过强化学习（RL）训练的模型才能有效迁移数学推理技能，而监督微调（SFT）可能导致负迁移。
强化学习（RL）和监督微调（SFT）对模型迁移能力的影响是什么？
RL微调的模型在其他任务上表现更好，保持了原有知识，而SFT可能导致负迁移，损害泛化能力。
迁移能力指标（TI）是如何计算的？
TI通过其他推理或非推理任务组的相对增益除以数学任务组的相对增益来量化模型的迁移能力。
研究中评估了多少个模型的表现？
研究评估了20多个模型在数学推理和其他任务上的表现。
为什么选择强化学习（RL）作为微调方法？
因为RL微调能够在提升特定领域表现的同时，保留模型的原有知识，迁移能力更强。
微调方法对模型迁移能力的影响有多大？
微调方法是影响迁移能力的关键因素，RL模型在迁移能力上表现优于SFT模型。
