本文研究了大型语言模型的奖励功能和决策过程不透明的问题。通过逆向强化学习，恢复了隐性奖励功能，分析模型大小与可解释性的关系，并揭示RLHF过程中的潜在问题。结果表明，IRL衍生的奖励模型在新模型微调中表现出色，有助于提高模型对齐性。

VLB-IRL是一种新的逆向强化学习方法，通过最大化下界来学习奖励函数和寻找达到专家级性能的策略。该方法可以消除手动奖励设计的需要，优于现有算法。

该文介绍了一种新的逆向强化学习方法，通过同时估计专家的奖励函数和对环境动态的主观模型，开发出高维环境中估计专家奖励和主观动态的高效算法。研究发现，当先验认为专家对环境有高度准确的模型时，估计出的策略表现出了稳健的性能。在MuJoCo环境中验证了该方法的有效性，优于最先进的方法。