量子位
·
7B模型“情商”比肩GPT-4o，腾讯突破开放域RL难题，得分直翻5倍
💡
原文中文，约3400字，阅读约需8分钟。
📝
内容提要
腾讯的7B模型通过RLVER框架解决了AI情商的三大困境，得分从13.3提升至79.2，表现与顶级模型相当。RLVER利用用户模拟器优化多轮对话，增强模型的情感理解和共情能力，避免了灾难性遗忘。
🎯
关键要点
- 腾讯的7B模型通过RLVER框架解决了AI情商的三大困境，得分从13.3提升至79.2。
- RLVER框架利用用户模拟器优化多轮对话，增强模型的情感理解和共情能力。
- RLVER框架解决了环境困境、奖励困境和训练困境。
- 用户模拟器同时扮演交互环境和奖励来源，提供真实、多样的在线学习环境。
- RLVER通过SAGE框架将用户主观体验转化为稳定的奖励信号。
- 模型关注整个对话的情绪变化趋势，以最终情绪总分作为奖励。
- 经过RLVER训练的Qwen2.5-7B模型表现与顶级商用模型相当，避免了灾难性遗忘。
- RLVER训练过程中发现“思考式”模型和“反应式”模型的不同路径。
- GRPO算法带来稳定增长，PPO算法则能突破特定维度的能力上限。
- 训练环境的设计应强调成长曲线，过于严格的环境不利于模型早期成长。
- 带有思考结构的模型在困难环境下更具鲁棒性，能够保持适应性。
➡️
