PDF Saüc Abadal Lloret, Shehzaad Dhuliawala, Keerthiram Murugesan, Mrinmaya Sachan提出了一种基于文本反馈对齐语言模型的方法ALT，能够在减少样本量的情况下超越PPO在减少毒性和生成摘要等任务上的表现。该方法还探索了利用现有LLM进行对齐的可能性以及使用受限和无限制文本反馈的方法，并展望了自然语言反馈对齐模型的未来方向。

本研究评估了多种大型语言模型对生成的摘要的表现，发现 text-davinci-003 模型最佳。同时，分析了 CNN Daily Mail 和 XSum 两个数据集，为生成式人工智能应用的开发提供了基础。