语言模型对齐的理论极限
内容提要
该文研究语言模型对齐的理论极限，推导固定KL预算下最大期望奖励增益的闭式解，发现其由Jeffreys散度而非√KL决定，并提出仅凭基座模型样本预测增益的实用估计。在代理奖励下，奖励误差越大、KL惩罚越小，奖励黑客越严重，奖励集成可缓解。实验显示best-of-N接近理论极限，PPO与GRPO明显次优。
延伸解读
Jeffreys散度：对齐增益的新标尺
文章推导出固定KL预算下最大期望奖励增益的闭式解，发现其由Jeffreys散度而非此前分析中的√KL决定。这意味着评估对齐潜力时，应关注基座模型与目标分布之间的对称散度，而非简单以KL预算的平方根估算。这一修正为理解对齐上限提供了更精确的理论工具，也提示算法设计需以Jeffreys散度为优化目标。
奖励黑客的边界条件与集成缓解
在代理奖励场景下，文章证明理想对齐与代理对齐之间的差距（即奖励黑客）随奖励误差增大而扩大，随KL惩罚因子减小而加剧。这解释了实践中过度优化代理奖励的风险。同时，文章从理论上证明奖励集成能缓解奖励黑客，为这一常用技术提供了依据。读者可据此调整KL惩罚强度或采用集成策略来平衡优化与偏差。
算法效率对比：best-of-N接近极限，PPO/GRPO次优
实验在安全与摘要任务上计算了KL–奖励帕累托前沿，显示best-of-N紧密逼近理论极限，而PPO和GRPO明显次优。这表明当前主流强化学习对齐算法在样本效率上仍有较大提升空间。文章指出，要实现最优对齐且不依赖高推理成本，需要算法层面的改进，而非单纯增加采样或训练量。
Q&A
语言模型对齐的理论极限是什么？
该研究推导了在固定KL散度预算下，KL正则化对齐所能达到的最大期望奖励增益的闭式解。结果表明，最优奖励提升由Jeffreys散度项决定，而非先前分析中使用的√KL。
如何仅用基座模型样本预测对齐能带来多少奖励提升？
作者将最大奖励增益的表达式重写为基座模型下的协方差形式，从而得到一个实用估计器，仅需基座模型的样本即可预测可达到的对齐增益。
代理奖励下奖励黑客现象何时更严重？
在代理奖励设置下，理想对齐与代理对齐之间的差距（即奖励黑客）会随着奖励误差的增大而扩大，同时当KL惩罚因子减小时也会加剧。
奖励集成为什么能缓解奖励黑客？
论文证明奖励集成可以缓解奖励黑客，为实践中使用的这一技术提供了理论依据。
best-of-N、PPO和GRPO在逼近理论极限方面表现如何？
实验计算了安全与摘要两个任务的KL-奖励帕累托前沿，显示best-of-N紧密接近理论极限，而PPO和GRPO则明显次优。
这项研究对对齐算法的发展有什么启示？
研究结果表明，需要算法上的改进才能在不增加高推理成本的情况下实现最优对齐。
