本研究提出了一种专用的反馈和编辑模型，旨在优化开放性任务中的推理时间扩展。通过模仿人类反馈改进过程，利用70B规模的Llama 3模型，在Arena Hard基准测试中实现了92.7的性能，超越了多个现有模型。

该研究提出了一种增强的反馈模型，可在后见中收集多个额外观察量来实现样本高效学习。该模型适用于两个新的 POMDP 子类：多观察揭示 POMDP 和可区分 POMDP。