本研究分析了噪声标签对离线对齐的影响，探讨了隐私与抗对抗破坏之间的互动，发现局部差分隐私在遭受破坏时面临更大挑战，推动了相关理论的发展。

本研究提出了一种基于能量的偏好模型（EBM），旨在解决DPO损失在离线对齐中存在的多个极小值问题。通过引入能源偏好对齐（EPA）对比损失函数，实验证明该模型在开放基准测试中表现优越，验证了其有效性与实用性。