本文提出了一种风险敏感的奖励方差优化框架（RVPO），旨在解决多目标奖励聚合中的约束忽视问题。RVPO通过惩罚奖励间的方差，优化模型的一致性，从而在医疗和科学推理任务中提高表现。实验结果表明，RVPO在HealthBench上显著优于传统方法，并在保持准确性的同时，避免了多奖励方法的性能下降。

普林斯顿大学的研究表明，训练狗和设计RLHF奖励模型都需要考虑奖励的多样性。奖励模型的准确性并不等同于优化效率，低奖励方差会减缓优化速度。因此，不同策略应采用不同的奖励模型，以提升优化效果。