直接对齐中的平均对数似然
内容提要
本文探讨了通过细粒度分词级监督增强大型语言模型（LLM）对齐的方法，提出了一种线性对齐算法，显著提升了模型性能。研究还涉及直接奖励优化框架、强化学习与人类反馈的结合，以及对冗长性偏差的分析，旨在提高LLM输出与人类期望的一致性。
延伸解读
细粒度监督如何提升对齐效果
文章指出，通过细粒度的分词级监督来增强LLM对齐，可带来高达5.1%的绝对性能提升。这种方法不同于传统的整体响应级监督，它能在更细的粒度上调整模型行为，从而更精准地匹配人类偏好。对于关注对齐技术的研究者，这提示了监督信号粒度的重要性，但具体实现细节和适用边界仍需进一步验证。
线性对齐：无需训练的高效对齐
线性对齐算法通过一次推断步骤即可将语言模型与人类偏好对齐，完全消除了对数据注释和模型训练的依赖。它采用新的参数化方法改进策略优化，在差异约束下提取最优策略并直接估计对齐回应。实验表明，该方法在多个场景下显著提升了性能和效率，为资源有限的实际部署提供了新思路。
直接奖励优化框架的实证优势
DRO框架无需配对偏好数据，仅使用单轨迹数据集和简单的均方误差目标函数，即可实现策略优化。在T5编码器-解码器模型上的实证验证显示，DRO在单轨迹策略优化方面优于KTO等基准模型。这降低了对昂贵偏好数据的依赖，但文章未提及该方法在其他模型架构或任务上的泛化能力。
冗长性偏差：GPT-4的倾向与度量
文章发现，在评估LLM时存在冗长性偏差，即模型倾向于提供更长的答案，即使质量相似。在特定问题设置中，GPT-4更偏好更长的答案。作者提出了一种度量该偏差的指标，这有助于更公平地比较模型输出。读者应注意，这种偏差可能影响基于LLM的自动评估结果，需在应用时加以校正。
Q&A
细粒度分词级监督如何增强大型语言模型的对齐？
细粒度分词级监督通过改善模型的训练集，确保在必要的地方进行改动，同时保留大部分原始内容，从而提高了模型性能，绝对改善率可达5.1%。
什么是线性对齐算法，它的优势是什么？
线性对齐算法通过一次推断步骤将语言模型与人类偏好对齐，消除了对数据注释和模型训练的依赖，显著提高了对齐性能和效率。
直接奖励优化框架（DRO）有什么特点？
DRO框架无需配对偏好数据，采用简单的均方误差目标函数实现，能够有效优化单轨迹策略。
如何解决直接对齐算法的奖励过度优化问题？
通过引入对比策略梯度算法，研究者能够有效解决直接对齐算法中的奖励过度优化问题。
冗长性偏差是什么，GPT-4在这方面有什么表现？
冗长性偏差指的是大型语言模型倾向于提供更长的答案，GPT-4在研究中显示出更倾向于提供冗长答案的趋势。
强化学习与人类反馈结合的效果如何？
结合强化学习与人类反馈可以逐步提高大型语言模型的响应质量，使其输出更符合人类期望。
