一文通透GSPO——Qwen3所用的“群体序列策略优化”：摒弃token级别的off-policy校正，而在序列级别利用重要性权重进行优化
内容提要
本文介绍了一种新型强化学习算法——群体序列策略优化（GSPO），旨在提升大型语言模型的训练稳定性和效率。GSPO通过基于序列概率定义重要性比率，解决了GRPO算法的稳定性问题，显著提高了Qwen3模型的性能。
关键要点
-
本文介绍了一种新型强化学习算法——群体序列策略优化（GSPO），旨在提升大型语言模型的训练稳定性和效率。
-
GSPO通过基于序列概率定义重要性比率，解决了GRPO算法的稳定性问题，显著提高了Qwen3模型的性能。
-
GSPO的关键创新在于基于序列似然性定义重要性比率，确保序列级奖励与优化过程的一致性。
-
GSPO在训练稳定性、效率和性能方面显著优于GRPO，尤其在专家混合模型的强化学习训练中表现出色。
-
GSPO的优势使得Qwen3模型在性能上实现了显著提升，推动大规模语言模型强化学习训练的进步。
-
GRPO算法在训练超大规模语言模型时表现出严重的稳定性问题，导致模型崩溃。
-
GSPO旨在解决GRPO算法的核心局限性，避免复杂的稳定化策略，简化强化学习基础设施的设计。
-
随着模型规模和响应长度的增长，强化学习过程中需要较大的rollout批量大小以提高样本效率。
延伸问答
什么是群体序列策略优化（GSPO）？
群体序列策略优化（GSPO）是一种新型强化学习算法，旨在提升大型语言模型的训练稳定性和效率。
GSPO如何解决GRPO算法的稳定性问题？
GSPO通过基于序列概率定义重要性比率，确保序列级奖励与优化过程的一致性，从而解决了GRPO算法的稳定性问题。
GSPO在训练大型语言模型时有哪些优势？
GSPO在训练稳定性、效率和性能方面显著优于GRPO，尤其在专家混合模型的强化学习训练中表现出色。
GRPO算法在训练中存在哪些问题？
GRPO算法在训练超大规模语言模型时表现出严重的稳定性问题，常常导致模型崩溃。
GSPO如何影响Qwen3模型的性能？
GSPO的优势使得Qwen3模型在性能上实现了显著提升，推动了大规模语言模型强化学习训练的进步。
GSPO的设计如何简化强化学习基础设施？
GSPO避免复杂的稳定化策略，展现出简化强化学习基础设施的潜力。
