本研究提出了一种基于能量的偏好模型（EBM），旨在解决DPO损失在离线对齐中存在的多个极小值问题。通过引入能源偏好对齐（EPA）对比损失函数，实验证明该模型在开放基准测试中表现优越，验证了其有效性与实用性。