量子位
·
Thinking Machine新研究刷屏！结合RL+微调，小模型训练更具性价比
💡
原文中文，约3400字，阅读约需8分钟。
📝
内容提要
Thinking Machine的新研究提出了一种名为在线策略蒸馏的方法，结合强化学习与微调，显著提高小模型的训练效率，减少训练步骤50-100倍，适合资源有限的个人和小公司。同时，该方法有效解决了AI的“灾难性遗忘”问题，支持模型的终身学习。
🎯
关键要点
- Thinking Machine提出了一种名为在线策略蒸馏的方法，结合强化学习与微调。
- 该方法显著提高小模型的训练效率，减少训练步骤50-100倍。
- 在线策略蒸馏解决了AI的“灾难性遗忘”问题，支持模型的终身学习。
- 该方法结合了在线策略的自主探索与离线策略的密集监督。
- 实验表明，在线策略蒸馏在计算效率上具有巨大优势。
- 使用在线策略蒸馏可以有效恢复模型的通用能力，同时提升新知识的学习效果。
- 研究的核心作者Kevin Lu曾在OpenAI工作，参与多个重要项目。
➡️
