量子位
·
全新合成框架SOTA：强化学习当引擎，任务合成当燃料，蚂蚁港大联合出品
💡
原文中文，约3700字，阅读约需9分钟。
📝
内容提要
蚂蚁与港大联合推出PromptCoT 2.0框架，专注于任务合成与强化学习。实验表明，该框架在数学代码推理任务上达成新SOTA，显著提升模型性能。PromptCoT 2.0通过期望最大化优化生成更具挑战性的问题，并开源4.77M合成数据，推动大模型推理能力的提升。未来将探索环境合成与多模态任务。
🎯
关键要点
- 蚂蚁与港大联合推出PromptCoT 2.0框架，专注于任务合成与强化学习。
- PromptCoT 2.0在数学代码推理任务上达成新SOTA，显著提升模型性能。
- 框架通过期望最大化优化生成更具挑战性的问题，并开源4.77M合成数据。
- 团队认为强化学习和任务合成是大模型推理的基石技术。
- PromptCoT 2.0实现了效果、方法、数据的全面升级。
- 合成数据展现出更高的难度和差异化，推动模型训练的核心动力。
- 引入基于期望最大化的优化过程，使问题生成模型更具挑战性和多样性。
- 未来将探索Agentic环境合成、多模态任务合成和自奖励机制。
🏷️
标签
➡️
