递归内省：教授语言模型智能代理如何自我改进
内容提要
本研究探讨了提升大型语言模型（LLMs）自我优化能力的方法，包括自省式提示、无监督学习和自我奖励训练等。这些方法在多个自然语言处理任务中显著改善了模型的决策性能和效率，缩小了与大型模型的性能差距。实验结果表明，这些技术有效推动了自我改进的研究进展。
延伸解读
自我改进技术的多样性
文章介绍了多种让语言模型自我改进的技术，包括自省式提示、TriPosT、SIRLC、AlphaLLM、METAREFLECTION、自我奖励、内省计划和SELF-REFINE。这些方法从不同角度提升模型性能，有的无需调整参数，有的通过强化学习或迭代反馈，展示了自我改进研究的丰富性。
小模型缩小性能差距的途径
TriPosT训练算法和ReAct-style LLM代理等方法，旨在让更小的模型通过自我改进和与大型模型互动来缩小性能差距。例如，ReAct-style代理在组合式问答基准测试中参数数量减少了两个数量级，表明小模型也能通过自我改进达到较好效果。
无需外部监督的自我训练
SIRLC和SELF-REFINE等方法强调无需外部标签或监督数据。SIRLC通过强化学习，让模型分别扮演学生和教师角色；SELF-REFINE通过迭代反馈改进输出。这些方法降低了对外部标注的依赖，为自我改进提供了新思路。
实际应用与性能提升
METAREFLECTION在基础设施即代码漏洞检测和问答方面，相对于GPT-4有显著改进；自我奖励语言模型在AlpacaEval 2.0排行榜上优于Claude 2、Gemini Pro和GPT-4 0613。这些实例表明自我改进技术在实际任务中能带来性能提升。
Q&A
自省式提示如何促进大型语言模型的自我优化？
自省式提示通过学习过程中的经验和集成专家演示，提高了大型语言模型的决策性能，而无需调整模型参数。
TriPosT训练算法的主要贡献是什么？
TriPosT训练算法赋予小模型自我改进能力，缩小了与大型模型的性能差距，并通过互动反馈来改进小模型的表现。
SIRLC方法是如何提高LLMs性能的？
SIRLC是一种无监督方法，通过强化学习将LLMs分为学生和教师角色，利用评分策略更新模型参数，从而提高性能。
AlphaLLM如何实现自我改进？
AlphaLLM结合Monte Carlo Tree Search与LLMs，建立自我改进循环，从而显著提高模型性能。
METAREFLECTION技术的优势是什么？
METAREFLECTION技术通过自我反思生成语言反馈，能够学习通用提示指令，提高大型语言模型的效率，表现出显著改进。
SELF-REFINE框架的作用是什么？
SELF-REFINE框架通过迭代反馈和改进，能够从LLMs获得更好的输出，无需监督训练数据或强化学习。
