Blog on Qwen
·
GSPO：迈向持续拓展的语言模型强化学习
💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
本文提出了一种新型强化学习算法Group Sequence Policy Optimization (GSPO)，旨在提升语言模型的训练稳定性和效率。与传统算法GRPO相比，GSPO在混合专家模型中表现出更高的效率和稳定性，通过序列级别的优化简化了训练过程，减少了对复杂策略的依赖，从而提升了Qwen3模型的性能。
🎯
关键要点
- 提出了一种新型强化学习算法Group Sequence Policy Optimization (GSPO)，旨在提升语言模型的训练稳定性和效率。
- GSPO在混合专家模型中表现出更高的效率和稳定性，简化了训练过程，减少了对复杂策略的依赖。
- GSPO定义了序列级别的重要性比率，并在序列层面执行裁剪、奖励和优化。
- GSPO具备显著更高的训练效率，能够通过增加计算获得持续的性能提升。
- GSPO能够保持稳定的训练过程，根本性解决了混合专家模型的训练稳定性问题。
- GSPO对精度容忍度更高，简化了强化学习基础设施。
- 实验结果显示，GSPO在同等计算开销下表现出比GRPO更高的训练效率。
- GSPO裁剪的token比例比GRPO高两个数量级，但训练效率更高，表明GSPO的优化目标更有效。
- GSPO消除了对Routing Replay的依赖，简化和稳定了训练过程。
- GSPO使得直接使用推理引擎返回的似然进行优化成为可能，特别适用于多轮RL和训推分离框架等场景。
- GSPO为最新Qwen3模型的卓越性能奠定了算法基础，推动了强化学习的边界。
❓
延伸问答
GSPO算法的主要目标是什么？
GSPO算法旨在提升语言模型的训练稳定性和效率。
GSPO与传统的GRPO算法相比有哪些优势？
GSPO在训练效率和稳定性方面表现更好，简化了训练过程，减少了对复杂策略的依赖。
GSPO如何提高训练效率？
GSPO通过序列级别的优化和高效的裁剪机制，显著提高了训练效率。
GSPO在处理混合专家模型时有什么特别之处？
GSPO能够根本性地解决混合专家模型的训练稳定性问题，消除了对Routing Replay的依赖。
GSPO的优化目标是什么？
GSPO的优化目标是基于序列级别的似然进行优化，关注序列的整体表现。
GSPO对Qwen3模型的性能有什么影响？
GSPO为Qwen3模型的卓越性能奠定了算法基础，推动了强化学习的边界。
➡️
