本研究提出了一种自我增强式偏好优化（SAPO）方法，旨在提升大型语言模型（LLMs）的训练效率和性能。通过自我对弈生成负面响应，结合离线对比基线和实时反馈，动态更新响应段。此外，引入了混合偏好优化（MPO）和三重偏好优化（TPO）等新方法，显示出在多个评估指标上优于传统方法的性能。