本文介绍了一种新的个性化对齐框架——个性化群体相对策略优化（P-GRPO），旨在解决大型语言模型在满足多样化个体偏好时的不足。P-GRPO通过针对特定偏好组的奖励历史进行优势估计，保持了学习不同偏好的对比信号。研究表明，P-GRPO在多项任务中表现出更快的收敛速度和更高的奖励，能够更好地对齐异质偏好信号。