本研究提出了一种新的大语言模型对齐损失方法，通过在优化中引入稳定的双向负反馈（BNF），解决了DPO及其变种对超参数敏感和不稳定的问题。实验表明，BNF在QA基准上表现良好，推理基准的性能下降明显低于最佳方法，实现了价值对齐与推理能力的更好平衡。