本文探讨了约束强化学习在复合奖励模型中过度优化问题的解决方案，提出了一种基于策略的奖励学习框架，通过动态权重提升评估性能。研究表明，结合专家演示和多样化奖励方法可以提高样本效率和奖励不确定性，从而优化策略模型，增强整体性能。