本研究提出了一种新的训练目标——近似变分对齐（AVA），旨在解决大型语言模型（LLM）对齐过程中奖励信号利用不足的问题。通过贝叶斯逆强化学习（BIRL）框架，AVA在奖励建模和强化学习微调方面的表现优于现有方法。

本文探讨了逆强化学习（IRL）的新方法，包括贝叶斯逆强化学习（BIRL）和变分下界逆向强化学习（VLB-IRL）。这些方法通过学习专家的奖励函数来优化策略，消除手动设计奖励的需求。研究表明，这些新算法在复杂环境中表现优越，能够有效推断奖励函数并提升学习效率。