量子位
·
腾讯发布超低成本AI训练法！120元效果秒杀70000元微调方案
💡
原文中文，约3000字，阅读约需8分钟。
📝
内容提要
腾讯推出的无训练组相对策略优化（Training-Free GRPO）方法，仅需120元即可显著提升大模型性能，超越70000元的微调方案。该方法通过动态更新经验知识库，无需调整模型参数，降低训练成本，适用于数学推理和网页搜索等任务。实验结果表明，Training-Free GRPO在多个基准测试中表现优异，具有高性价比和有效性。
🎯
关键要点
- 腾讯推出无训练组相对策略优化（Training-Free GRPO）方法，成本仅120元。
- 该方法显著提升大模型性能，超越70000元的微调方案。
- Training-Free GRPO通过动态更新经验知识库，无需调整模型参数，降低训练成本。
- 适用于数学推理和网页搜索等任务，实验结果显示其在多个基准测试中表现优异。
- 该方法利用轻量级的token先验在上下文中学习经验知识，保持模型参数不变。
- Training-Free GRPO通过更新外部经验知识库来实现性能优化，避免了传统方法的高算力成本和数据稀缺问题。
- 实验表明，Training-Free GRPO在数学推理任务中取得显著提升，使用的训练样本仅为100个。
- 在网络搜索任务中，该方法在WebWalkerQA基准上实现了67.8%的Pass@1得分，显著高于基线。
- 研究验证了模型能力与经验优化的有效性之间的关系，基础模型的推理能力是关键因素。
➡️
