清华&通院推出”绝对零”训练法，零外部数据大模型自我博弈解锁推理能力
原文中文，约3700字，阅读约需9分钟。
📝
内容提要
清华与通院提出的“绝对零”训练法，通过自我博弈提升大模型的推理能力，无需外部数据。该方法在代码环境中训练，模型在数学推理和编程任务上表现优异，超越传统专家标注样本训练的模型。
🔎
延伸解读
自我博弈的创新意义
“绝对零”训练法通过自我博弈的方式，让模型在没有外部数据的情况下自主生成和解决任务。这种方法不仅提升了模型的推理能力，还为未来的AI训练提供了新的思路，尤其是在数据稀缺的领域，具有重要的应用潜力。
性能提升与模型规模的关系
研究表明，“绝对零”训练法的性能提升与模型规模呈正相关。参数越多的模型，经过“绝对零”训练后的推理能力提升越显著。这提示我们在选择模型时，规模可能是影响训练效果的重要因素，尤其是在复杂推理任务中。
任务生成的可学习性
在“绝对零”训练中，Proposer生成的任务需具备适当的可学习性，以确保Solver能够有效学习。这一机制强调了任务设计的重要性，未来的研究可以进一步探索如何优化任务生成策略，以提升模型的学习效率和推理能力。
❓
Q&A
什么是“绝对零”训练法？
“绝对零”训练法是一种通过自我博弈提升大模型推理能力的方法，无需外部数据。
“绝对零”训练法如何提升模型的推理能力？
通过让模型自我生成和解决推理任务，模型在交替的Proposer和Solver角色中不断学习和提升能力。
在编程任务上，“绝对零”训练法的效果如何？
应用“绝对零”后，多个数据集的编程任务通过率显著提高，例如HumanEval+的通过率从80.5%提高到83.5%。
“绝对零”训练法的任务生成是如何进行的？
Proposer根据已有任务和任务类型生成新的推理任务，并控制任务的难度和新颖度，以确保学习价值。
在数学推理任务上，“绝对零”训练法的表现如何？
在数学推理任务中，“绝对零”的平均准确率达到了39.1%，比基线高出15.2个百分点。
“绝对零”训练法的性能提升与模型规模有什么关系？
研究发现，“绝对零”的性能提升与模型规模呈正相关，参数越多的模型，训练后的性能提升越大。
🏷️
