本文综述大语言模型对齐方法：SELF-ALIGN利用少量监督实现自我对齐；SALMON用合成偏好数据自动对齐；规则蒸馏将规则编码进模型参数；线性对齐一步推断完成对齐；DLMA用自奖励分数结合DPO；OPO通过外部记忆实时更新价值观；FIGA利用细粒度质量信号指导对齐。

该文综述大语言模型对齐方法：RLCD利用模拟偏好对训练偏好模型，通过强化学习提升无害性与有帮助性；DPO直接优化偏好，更稳定简单；SALMON与SELF-ALIGN减少人工监督；Diffusion-DPO将偏好优化扩展至扩散模型，提升视觉吸引力与提示对齐。

本文综述大语言模型对齐技术，涵盖数据收集、训练与评估。主要方法包括：Aligner通过校正残差实现参数高效对齐，有用性和无害性分别平均提升18%和23%；ALMoST结合奖励建模与模拟演示，7B模型胜率约75%；医学领域采用“扩展-猜测-精化”策略，在USMLE子集上达70.63%；教育对齐模型能分解复杂问题；FIGA利用细粒度质量信号改进对齐。