内容提要
研究团队发现，通过“递归式自我提升”方法，Transformer模型在多位数乘法上显著提高了准确度，解决了长度泛化问题。实验表明，经过自我改进后，模型在9位数乘法上几乎完美，10位数乘法表现良好。
关键要点
-
普通大模型在数学能力上表现不佳，尤其是在多位数乘法上。
-
DeepSeek-R1模型在AIME 2024竞赛中取得79.8%的准确度，o3-mini更是达到了87.3%。
-
邓云天的实验显示，o1模型在9位数乘法后准确度下降，GPT-4o在4位数时表现不佳。
-
DeepSeek-R1在9位数乘法上表现良好，但在15位数乘法上仍然出现错误。
-
微软研究院的Dimitris Papailiopoulos团队提出了'递归式自我提升'方法，解决了Transformer模型的长度泛化问题。
-
自我提升框架允许模型迭代生成训练数据，学习更困难的示例。
-
研究表明，简单的过滤技术可以保持数据质量，实现极端的长度泛化。
-
自我提升不仅限于长度泛化，还能实现从易到难的泛化。
-
实验结果显示，经过自我提升，模型在9位数乘法上几乎完美，10位数乘法表现良好。
-
研究团队认为，Transformer模型可以学习算法并在更困难的数据上表现更好。
延伸问答
DeepSeek-R1和o3-mini在多位数乘法上的表现如何？
DeepSeek-R1在AIME 2024竞赛中达到了79.8%的准确度，而o3-mini更高，达到了87.3%。
什么是递归式自我提升方法？
递归式自我提升方法允许模型迭代生成训练数据，从而学习更困难的示例，解决了Transformer模型的长度泛化问题。
普通大模型在多位数乘法上表现不佳的原因是什么？
普通大模型在多位数乘法上表现不佳，主要是因为它们在训练时见过的序列长度有限，难以外推到更长的序列。
自我提升框架如何实现极端的长度泛化？
自我提升框架通过简单的过滤技术保持数据质量，使模型能够在没有修改基础架构的情况下实现极端的长度泛化。
DeepSeek-R1在多位数乘法上的具体实验结果是什么？
DeepSeek-R1在9位数乘法上表现几乎完美，但在15位数乘法上仍出现错误，且计算时间较长。
研究团队对Transformer模型的未来有什么看法？
研究团队认为，Transformer模型可以学习算法，并在更困难的数据上表现更好，未来有潜力解决更多复杂问题。
