该文综述大语言模型对齐方法：RLCD利用模拟偏好对训练偏好模型，通过强化学习提升无害性与有帮助性；DPO直接优化偏好，更稳定简单；SALMON与SELF-ALIGN减少人工监督；Diffusion-DPO将偏好优化扩展至扩散模型，提升视觉吸引力与提示对齐。

SALMON是一种新方法，使用少量人定的原则和基于合成偏好数据训练的奖励模型，实现了对基础语言模型的自动对齐，提高了监督效率、可控性和可扩展性。在各种基准数据集上显著超越了几种最先进的人工智能系统，包括LLaMA-2-Chat-70b。

该研究提出了一种名为SALMON的新方法，使用少量人定的原则和基于合成偏好数据训练的奖励模型，实现了对基础语言模型的自动对齐，提高了监督效率、可控性和可扩展性。在各种基准数据集上显著超越了几种最先进的人工智能系统，包括LLaMA-2-Chat-70b。