通过想象力、搜索和批评实现 LLM 的自我提升
内容提要
本文探讨了通过自我训练和推理提升大型语言模型（LLMs）性能的方法，包括自监督后训练、上下文学习和自我纠错。研究表明，LLMs在缺乏外部反馈时难以自我纠正，并提出结合蒙特卡洛树搜索的创新方法以解决决策型游戏问题。此外，介绍了无监督方法SIRLC和TriPosT训练算法，旨在提高模型性能并缩小大型与小型模型之间的差距。
延伸解读
自我纠错的局限与外部反馈的价值
文章指出，大型语言模型在缺乏外部反馈时难以自我纠正，甚至可能因自我纠正而性能下降。在24点游戏、图着色和STRIPS规划任务中，自我评估导致GPT-4性能显著下降，而外部验证则带来显著提升。这表明，单纯依赖模型内部评估可能不可靠，引入可信的外部验证器是更有效的策略。
无监督自我训练方法的进展
文章介绍了多种无监督方法，如SIRLC和TriPosT。SIRLC通过强化学习让模型扮演学生和教师角色，无需外部标签即可提升性能；TriPosT则通过与大模型互动收集反馈来训练小模型，缩小大小模型间的性能差距。这些方法表明，利用未标注数据自我训练是提升模型能力的可行途径。
搜索与推理策略的融合
文章提到将蒙特卡洛树搜索与大型语言模型结合，可有效解决决策型游戏问题，并处理传统MCTS难以应对的挑战。此外，《Algorithm of Thoughts》策略通过算法推动推理路径，扩展了上下文学习中的思路探索，超越了早期单查询和多查询方法。这些融合方法为复杂推理任务提供了新思路。
Q&A
如何通过自我训练提高大型语言模型的性能？
通过使用未标注的数据进行自我训练和推理，并通过 fine-tuning 达到 SOTA 水平。
自监督后训练对语言模型的影响是什么？
自监督后训练可以增加逻辑知识，提高语言模型的逻辑推理能力。
大型语言模型在没有外部反馈时会出现什么问题？
在没有外部反馈的情况下，大型语言模型难以自我纠正，性能可能下降。
蒙特卡洛树搜索如何与大型语言模型结合？
结合蒙特卡洛树搜索的方法可以有效解决决策型游戏问题，提高模型性能。
什么是SELF-REFINE框架，它的作用是什么？
SELF-REFINE框架通过迭代反馈和改进提高LLMs的输出，无需监督训练数据。
TriPosT训练算法如何帮助小模型改进性能？
TriPosT训练算法赋予小模型自我改进能力，缩小与大型模型的性能差距。
