2026年大模型强化学习从RLHF转向RLVR，用可验证奖励替代人类偏好，但GRPO算法导致模型注水、钻漏洞。业界通过DAPO、Dr. GRPO等修正，并发展出智能体强化学习，让模型直接操作环境。训练本质成猫鼠游戏，模型总在找奖励漏洞，进步背后是应试技巧而非真正理解。