该文提供了针对具有人类反馈的强化学习的理论框架，研究表明最大似然估计器在Bradley-Terry-Luce模型和Plackett-Luce模型下都能收敛，但在基于学习的奖励模型的策略时，MLE失败，而一种悲观的MLE在某些涵盖假设下提供了改进的性能策略。此外，该文证明在PL模型下，真实MLE和一个将K路比较分成两两比较的替代MLE都会收敛。