SoFA: 通过优先规则遵循进行实时隐蔽对齐
内容提要
本文综述大语言模型对齐方法：SELF-ALIGN利用少量监督实现自我对齐；SALMON用合成偏好数据自动对齐；规则蒸馏将规则编码进模型参数；线性对齐一步推断完成对齐；DLMA用自奖励分数结合DPO；OPO通过外部记忆实时更新价值观；FIGA利用细粒度质量信号指导对齐。
延伸解读
对齐方法演进：从依赖人工到自动化
文章梳理了多种对齐方法，呈现出一条减少人工监督依赖的清晰路径。SELF-ALIGN利用少量监督实现自我对齐；SALMON通过合成偏好数据自动对齐；规则蒸馏将规则编码进模型参数；线性对齐则完全消除数据注释和模型训练，一步推断完成对齐。这些方法共同指向一个趋势：对齐过程正从重度人工介入转向自动化与高效化。
实时对齐与动态价值观的挑战
人类价值观并非一成不变，OPO方法针对这一动态性，通过外部记忆存储对齐规则，实现实时更新和定制，从而约束模型行为。这回应了传统对齐方法难以适应社会规范变化的局限。文章还提及个性化对齐的三层次政策框架，试图在享受个性化好处的同时，于国家和组织层面控制风险，体现了对齐问题从技术层面向治理层面的延伸。
降低对齐成本的技术路径
对齐通常需要大量人工标注和复杂训练，而文章中的多项研究致力于降低成本。线性对齐通过一次推断步骤完成对齐，无需数据注释和模型训练；DLMA利用自奖励分数结合DPO，不依赖人工标注的偏好数据；规则蒸馏在样本效率和泛化能力上优于基于示例的学习。这些方法在保持性能的同时，显著提升了对齐的效率和可扩展性。
Q&A
SELF-ALIGN 方法如何减少人工监督？
SELF-ALIGN 利用少量人工监督，结合原理驱动的推理和 LLM 的生成能力，实现 AI 助手的自我对齐，从而减少对人工监督的依赖，并获得更好的性能。
SALMON 方法如何实现自动对齐？
SALMON 使用少量人定的原则和基于合成偏好数据训练的奖励模型，通过调整原则控制奖励模型的偏好，进而影响强化学习训练的策略行为，实现自动对齐，消除对在线人类偏好收集的依赖。
规则蒸馏相比基于示例的学习有什么优势？
规则蒸馏通过从详细规则中提取知识并显式编码到大型语言模型的参数中，在样本大小和泛化能力方面比基于示例的学习更加高效。
线性对齐算法如何消除对数据注释和模型训练的依赖？
线性对齐通过一次推断步骤将语言模型与人类偏好对齐，采用新的参数化方法改进策略优化，按照差异约束条件提取最优策略并直接估计对齐的回应，从而消除对数据注释和模型训练的依赖。
DLMA 方法如何在不依赖人工标注偏好数据的情况下对齐大型语言模型？
DLMA 通过对比提示对生成的偏好数据进行评估，计算自奖励分数，并使用 DPO 算法结合此自奖励分数来有效地对齐大型语言模型，实现了不依赖人工标注的偏好数据，且能超越 RLHF 方法。
OPO 方法如何实现实时对齐和人类价值观更新？
OPO 通过外部记忆存储已建立的对齐规则，有效约束语言模型的行为，实现人类价值观的便捷更新和定制，是一种实时对齐方法。
FIGA 方法利用什么信号来指导对齐学习？
FIGA 利用细粒度的质量信号，即对比好坏回答的方式，指导大型语言模型的对齐学习。
