本研究提出了一种新的无调优自我对齐方法——动态奖励与提示优化，旨在解决传统大语言模型在对齐训练和偏好标注中的问题，从而提升对齐性能。

研究人员使用大型语言模型（LLM）提出了一种学习奖励的方法，通过自我对齐过程，最小化LLM和学习奖励函数之间的不一致性，提高了训练效果和效率。该方法比基于突变的方法消耗更少的GPT令牌。

本文介绍了一种名为指令反向翻译的方法，用于构建高质量的指令跟随语言模型。该方法通过自动标记人工编写的文本与相应的指令，并使用少量种子数据和给定的网络语料库对语言模型进行微调。通过为网络文档生成指令提示来构建训练样本，并从中选择高质量的例子进行自我策划。通过对 LLaMa 进行两次迭代的微调，得到一个在 Alpaca 排行榜上性能优于其他基于 LLaMa 的模型的模型，且不依赖蒸馏数据，展示了高度有效的自我对齐。