本研究提出了一种新颖的大语言模型对齐损失，利用双向负反馈(BNF)解决了DPO的超参数敏感性和不稳定性。实验结果表明，BNF在问答基准上表现优异，并在推理能力与价值对齐之间实现了更好的平衡。