更小、更弱但更优：通过计算最优采样训练大型语言模型推理器
内容提要
本文探讨了通过自监督学习和上下文学习提升大型语言模型（LLMs）逻辑推理能力的方法。研究表明，微调和合成数据的有效利用显著改善模型性能，并提出了新的基准测试WorldSense，以评估模型在简单推理中的表现。此外，批评训练增强了推理能力，小模型结合树搜索算法在资源有限时表现优异。
延伸解读
小模型与树搜索：资源有限时的实用选择
文章指出，在预算受限的情况下，利用较小的语言模型结合新颖的树搜索算法，可以实现最佳的性能与计算成本配比。这意味着并非只有超大模型才能完成复杂推理任务，通过优化推理策略，小模型也能在资源有限的环境中提升问题解决准确性。对于计算资源有限的团队，这一发现提供了可行的替代方案。
合成数据的双刃剑：性能提升与固有缺陷
合成数据被提出用于缓解高质量训练数据稀缺的问题，并能有效提升模型在下游基准测试中的表现。然而，分析显示合成数据存在固有缺陷，可能导致模型对模式过拟合，进而影响指令遵循能力。文章提出基于取消学习技术的方法来减轻这些缺陷，在较低成本下逆转指令遵循问题，且不损害基准测试性能。这提醒使用者需谨慎对待合成数据。
批评训练与模型规模：GQC能力的线性关系与不一致性
CriticBench评估显示，大型语言模型在生成、批评和纠正推理（GQC）方面的能力呈线性关系，批评训练能显著增强性能。模型规模增加可以减少GQC知识的不一致性，强模型在批评弱模型时表现更好，而弱模型在自我批评方面却能出人意料地超过强模型。这些发现为理解模型自我改进和批评机制提供了重要参考。
简单推理的挑战：WorldSense基准揭示的隐式世界模型局限
WorldSense基准用于评估LLMs在简单实体排列描述中的隐式世界模型能力。测试显示，即使只有三个对象，GPT-3.5、GPT-4和Llama2-chat等先进模型也会出错，并存在响应偏差，倾向于特定答案。错误在思维链提示和上下文学习中依然存在。微调虽能带来改进，但无法超越约束问题空间的普适性，表明简单推理仍是待解难题。
Q&A
如何通过自监督学习提升大型语言模型的推理能力？
通过自监督学习和上下文学习，可以增强大型语言模型的逻辑推理能力，取得更好的效果。
WorldSense基准测试的目的是什么？
WorldSense基准测试用于评估大型语言模型在简单推理中的表现，尤其是在处理简单实体排列时的隐式世界模型能力。
合成数据在大型语言模型训练中的作用是什么？
合成数据被提出作为解决高质量数据稀缺问题的方法，能够有效提高模型在下游基准测试中的性能。
批评训练如何增强模型的推理能力？
批评训练显著增强了模型的推理能力，尤其是在生成、批评和纠正推理的任务中表现更佳。
小模型结合树搜索算法的优势是什么？
小模型结合树搜索算法在资源有限的情况下能够实现最佳的性能和计算成本配比。
如何减轻合成数据的固有缺陷？
可以通过基于取消学习技术的方法来减轻合成数据的缺陷，从而提升模型性能。
