本文提出了一种软偏好优化（SPO）方法，旨在使生成模型与人类偏好对齐，无需使用奖励模型。SPO通过自然损失函数优化模型输出，展示了其在计算效率和对齐精度方面的优势。同时，文中介绍了自我对战偏好优化（SPO）和直接偏好优化（DPO）等相关算法，并比较了它们在不同任务中的表现。