Scaling Law 撞墙？复旦团队大模型推理新思路：Two-Player架构打破自我反思瓶颈
内容提要
AIxiv专栏促进学术交流，近期关注双模型协作架构（Critique-in-the-Loop），通过评判模型提升行为模型推理表现。研究团队提出AutoMathCritique框架，自动生成步骤级反馈，并构建MathCritique-76k数据集，显著提升模型性能，缓解长尾分布问题。
延伸解读
双模型协作架构的优势
复旦团队提出的双模型协作架构（Critique-in-the-Loop）通过引入评判模型，打破了传统单一模型的局限性。这种架构不仅能提供更为精准的反馈，还能在训练和推理阶段实现自我改进，显著提升模型的推理表现。尤其在面对复杂问题时，评判模型的反馈能够帮助行为模型更好地识别和纠正错误，提升整体性能。
长尾分布问题的缓解
研究表明，Critique-in-the-Loop架构有效缓解了模型在自我优化过程中常见的长尾分布问题。通过引导模型关注不同难度的问题，评判模型能够帮助行为模型在训练时获得更均衡的数据分布，从而提升在高难度问题上的表现。这一发现为未来模型的训练策略提供了新的思路。
AutoMathCritique框架的创新
AutoMathCritique框架的提出，标志着在步骤级别反馈生成方面的重大进展。通过自动化构建多样化的推理数据，研究团队能够有效收集和标注错误信息，从而为评判模型提供高质量的训练数据。这种创新不仅提升了模型的反馈质量，也为后续的模型训练提供了坚实的基础。
Q&A
双模型协作架构的主要功能是什么？
双模型协作架构通过评判模型为行为模型提供步骤级反馈，帮助其在推理过程中自我改进。
AutoMathCritique框架的作用是什么？
AutoMathCritique框架用于自动生成步骤级反馈，并构建MathCritique-76k数据集，以提升模型性能。
Critique模型如何帮助Actor模型提高性能？
Critique模型通过识别错误并提供反馈，帮助Actor模型在测试阶段显著提高正确率。
长尾分布问题是如何被缓解的？
通过引入Critique-in-the-loop架构，模型能够更有效地平衡不同难度问题的数据比例，从而缓解长尾分布问题。
Self-talk形式在模型推理中有什么优势？
Self-talk形式允许模型在每个推理步骤后进行反思与改进，从而提升整体性能。
MathCritique-76k数据集的特点是什么？
MathCritique-76k数据集包含正确推理轨迹和自动合成的错误轨迹，提供高质量的步骤级反馈数据。
