PDF Saüc Abadal Lloret, Shehzaad Dhuliawala, Keerthiram Murugesan, Mrinmaya Sachan提出了一种基于文本反馈对齐语言模型的方法ALT，能够在减少样本量的情况下超越PPO在减少毒性和生成摘要等任务上的表现。该方法还探索了利用现有LLM进行对齐的可能性以及使用受限和无限制文本反馈的方法，并展望了自然语言反馈对齐模型的未来方向。