量子位
·
监督学习也能从错误中学习反思？！清华英伟达联合提出隐式负向策略爆炸提升数学能力
内容提要
清华大学与英伟达、斯坦福联合提出NFT（隐式负向策略），通过负向数据训练正向模型，缩小监督学习与强化学习的差距。NFT在大模型中表现优异，显著提升数学能力，且不依赖外部数据。
关键要点
-
清华大学与英伟达、斯坦福联合提出NFT（隐式负向策略）
-
NFT通过负向数据训练正向模型，缩小监督学习与强化学习的差距
-
NFT在大模型中表现优异，显著提升数学能力
-
NFT损失函数梯度与GRPO在On-Policy条件下等价
-
NFT方法包括数据采样、隐式策略建模和策略优化
-
NFT在负向数据上训练正向策略，利用隐式负向策略
-
NFT与现有强化学习算法性能持平，部分场景下更具优势
-
NFT不依赖外部数据，能实现数学能力的大幅提升
-
NFT算法有利于模型熵增加，鼓励模型充分探索
-
NFT弥合了强化学习与监督学习的本质差异，暗示两者存在深层联系
延伸解读
隐式负向策略的创新意义
NFT（隐式负向策略）通过利用负向数据训练正向模型，展示了监督学习与强化学习之间的深层联系。这一创新不仅缩小了两者的性能差距，还为未来的机器学习研究提供了新的思路，可能推动更多算法的融合与发展。
大模型中的优势
研究表明，NFT在大模型中表现出更明显的优势，尤其是在数学能力的提升上。这意味着在处理复杂任务时，负向反馈的作用愈发重要，未来的模型设计可以更多地考虑如何有效利用负向数据。
实践中的应用潜力
NFT作为一种不依赖外部数据的算法，具有广泛的应用潜力。其在数学能力上的显著提升，可能为教育、科研等领域的智能系统提供新的解决方案，尤其是在需要大量数据的情况下，NFT的优势尤为突出。
延伸问答
NFT（隐式负向策略）是什么？
NFT是一种新的监督学习方案，通过负向数据训练正向模型，缩小监督学习与强化学习的差距。
NFT如何提升数学能力？
NFT通过在负向数据上训练正向策略，显著提升模型的数学能力，且不依赖外部数据。
NFT与现有强化学习算法相比有什么优势？
NFT在部分场景下性能优于现有强化学习算法，尤其在大模型中，负向反馈的作用更加明显。
NFT的训练过程包括哪些步骤？
NFT的训练过程包括数据采样、隐式策略建模和策略优化三个步骤。
NFT如何弥合监督学习与强化学习的差异？
NFT通过隐式负向策略训练正向模型，表明两者之间存在深层联系，缩小了它们的性能差距。
NFT的损失函数与GRPO有什么关系？
NFT的损失函数梯度在On-Policy条件下与GRPO等价，表明两者在理论上的一致性。
