本研究提出了GenARM，一种基于自回归奖励模型的高效对齐方法，旨在解决大型语言模型与人类偏好对齐的成本和效率问题。实验证明，GenARM在性能上显著优于传统方法，并支持多目标对齐，以满足用户的多样化需求。