变分最优 N 对齐
内容提要
该研究探讨了大型语言模型的对齐问题，提出了BoNBoN对齐方法和正则化最佳-n策略，以提高模型选择性并减少奖励欺骗。通过训练贝叶斯奖励模型，研究有效缓解了奖励过度优化问题，并提出了基于变分贝叶斯的新推断方法，优化了高方差问题，展示了最佳-n策略与KL约束的等价性。
延伸解读
奖励过度优化的成因与缓解
文章指出，在人类偏好对齐中，奖励模型可能被过度优化，导致模型选择高奖励但实际偏好低的回复。这种奖励欺骗源于奖励模型在训练数据分布外的错误。通过训练贝叶斯奖励模型，如使用Laplace-LoRA，可以提供不确定性信号，从而在最佳n采样中缓解过度优化。这提示实践者，在依赖奖励模型时，需关注其不确定性估计，以避免被高奖励误导。
最佳n策略与KL约束RL的等价性
研究证明，最佳N项对齐与KL约束RL解在期望奖励上渐近等价，且任何在KL散度和奖励间实现可比权衡的对齐方法，必须在相对熵方面近似于最优KL约束RL解。这意味着，尽管最佳n采样简单直接，但其效果与复杂的RL方法在理论上相近。对于资源有限的应用，最佳n采样可能是一个高效的选择，但需注意其与RL解在分布上的细微差异。
变分贝叶斯推断的优化作用
文章提出基于变分贝叶斯的顺序贝叶斯推断新方法，通过一步自然梯度下降优化期望对数似然，在共轭模型下可恢复准确推断，在非共轭设置中计算成本可控且优于其他在线VB方法。同时，结合基于分数的采样与最大似然法，能有效优化高方差问题。这些方法为处理对齐中的高方差和不确定性提供了新工具，尤其适用于在线学习场景。
Q&A
BoNBoN对齐方法的主要优点是什么？
BoNBoN对齐方法能够提高模型的选择性，并最小化对非目标方面的影响。
正则化最佳-n策略如何减少奖励欺骗问题？
正则化最佳-n策略通过在响应选择中加入相似性项来减少奖励欺骗问题。
如何通过训练贝叶斯奖励模型来缓解奖励过度优化问题？
训练贝叶斯奖励模型可以在离训练数据分布较远的位置发出更高的不确定性信号，从而缓解奖励过度优化问题。
d-PM方法在自然语言生成模型中的表现如何？
d-PM方法在自动评估和人工评估方面表现优于之前的最佳模型。
KL散度与最佳n策略之间的关系是什么？
KL散度和最佳n策略之间存在不相等关系，且最佳N项对齐与KL约束RL解在期望奖励上渐近等价。
如何结合基于分数的采样方法与最大似然法优化高方差问题？
结合基于分数的采样方法与最大似然法可以有效优化高方差问题，并在目标分布为高斯分布时收敛迅速。
