该文章介绍了一种名为Aligner的高效对齐方式，通过学习对齐与未对齐答案之间的校正残差，实现了参数高效的对齐解决方案。Aligner可以通过监督信号微调预训练模型，提高模型性能。实验结果显示，对11种不同的语言模型进行实验，平均提升了18%的有用性和23%的无害性。使用Aligner-7B微调Llama2-70B，可以提高Llama2的有用性8.2%和无害性61.6%。