量子位
·
监督学习也能从错误中学习反思？！清华英伟达联合提出隐式负向策略爆炸提升数学能力
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
清华大学与英伟达、斯坦福联合提出NFT（隐式负向策略），通过负向数据训练正向模型，缩小监督学习与强化学习的差距。NFT在大模型中表现优异，显著提升数学能力，且不依赖外部数据。
🎯
关键要点
-
清华大学与英伟达、斯坦福联合提出NFT（隐式负向策略）
-
NFT通过负向数据训练正向模型，缩小监督学习与强化学习的差距
-
NFT在大模型中表现优异，显著提升数学能力
-
NFT损失函数梯度与GRPO在On-Policy条件下等价
-
NFT方法包括数据采样、隐式策略建模和策略优化
-
NFT在负向数据上训练正向策略，利用隐式负向策略
-
NFT与现有强化学习算法性能持平，部分场景下更具优势
-
NFT不依赖外部数据，能实现数学能力的大幅提升
-
NFT算法有利于模型熵增加，鼓励模型充分探索
-
NFT弥合了强化学习与监督学习的本质差异，暗示两者存在深层联系
❓
延伸问答
NFT（隐式负向策略）是什么？
NFT是一种新的监督学习方案，通过负向数据训练正向模型，缩小监督学习与强化学习的差距。
NFT如何提升数学能力？
NFT通过在负向数据上训练正向策略，显著提升模型的数学能力，且不依赖外部数据。
NFT与现有强化学习算法相比有什么优势？
NFT在部分场景下性能优于现有强化学习算法，尤其在大模型中，负向反馈的作用更加明显。
NFT的训练过程包括哪些步骤？
NFT的训练过程包括数据采样、隐式策略建模和策略优化三个步骤。
NFT如何弥合监督学习与强化学习的差异？
NFT通过隐式负向策略训练正向模型，表明两者之间存在深层联系，缩小了它们的性能差距。
NFT的损失函数与GRPO有什么关系？
NFT的损失函数梯度在On-Policy条件下与GRPO等价，表明两者在理论上的一致性。
➡️
