该文研究语言模型对齐的理论极限，推导固定KL预算下最大期望奖励增益的闭式解，发现其由Jeffreys散度而非√KL决定，并提出仅凭基座模型样本预测增益的实用估计。在代理奖励下，奖励误差越大、KL惩罚越小，奖励黑客越严重，奖励集成可缓解。实验显示best-of-N接近理论极限，PPO与GRPO明显次优。