GRPO是一种大模型微调方法，通过组内多输出比较计算优势并迭代更新模型。每步计算当前、旧、参考模型的logits概率，得出目标值作为损失。关键超参数包括KL权重beta、迭代次数num_iterations、裁剪参数epsilon及参考模型同步设置sync_ref_model。冷启动时利用各输出优势推动参数更新，最大化目标值。