该研究探讨了基于transformer的语言模型在数学推理中的应用，发现预训练模型结合上下文学习显著提升推理能力。研究还提出了规则蒸馏的新学习范式，并展示了在数学推理任务中提高准确性的潜力。

本文综述大语言模型对齐方法：SELF-ALIGN利用少量监督实现自我对齐；SALMON用合成偏好数据自动对齐；规则蒸馏将规则编码进模型参数；线性对齐一步推断完成对齐；DLMA用自奖励分数结合DPO；OPO通过外部记忆实时更新价值观；FIGA利用细粒度质量信号指导对齐。