RevOrder：一种增强语言模型中算术运算的新方法
内容提要
该文综述语言模型数学推理研究：用二进制加减乘法训练轻量模型，发现计算发生在数值空间，类似编码-回归-解码；提出ROPS预训练、锚定数字、MsAT持续预训练、后缀表达式、SYRELM符号求解器、WizardMath、Calculon分解数字等方法，提升算术与数学推理能力。
延伸解读
语言模型算术的内部机制
文章指出，语言模型在适当的内部表示映射后，计算发生在数值空间中，其工作方式类似于编码-回归-解码机器。这意味着模型并非简单记忆，而是将数字编码为内部数值表示，进行回归计算，再解码为输出。这一发现有助于理解模型算术能力的来源，并为改进模型设计提供方向。
提升算术能力的多种方法
文章综述了多种提升语言模型算术能力的方法，包括ROPS预训练、锚定数字、MsAT持续预训练、后缀表达式、SYRELM符号求解器、WizardMath和Calculon分解数字等。这些方法从不同角度切入，有的侧重预训练任务设计，有的结合符号求解器，有的通过分解数字降低计算难度，共同推动了模型数学推理能力的进步。
轻量级模型与符号求解器的结合
文章提到，通过训练轻量级语言模型生成后缀表达式，并结合小型预训练模型将令牌嵌入转化为真实稠密数字，再利用本地函数获得正确答案，最后通过提示注入增强语言模型算数能力。SYRELM则采用符号求解器将自然语言问题转化为形式化描述，并通过强化学习训练适应模型，在准确性上取得巨大改进，且易于诊断和解释。
实际应用与性能对比
文章展示了WizardMath在GSM8k和MATH等数学推理评估上远超其他开源LLMs，甚至胜过ChatGPT-3.5。Calculon在五位数加法任务上比GPT-3准确率提高了63%。这些结果表明，针对性的方法能显著提升模型算术性能，但不同方法各有侧重，实际应用中需根据任务需求选择合适方案。
Q&A
语言模型做算术运算时，内部计算发生在什么空间？
研究支持语言模型在适当的内部表示映射后，计算发生在数值空间中，其工作类似于一个编码-回归-解码机器。
ROPS预训练任务是什么？它有什么作用？
ROPS是Neighbor Reasoning Order Prediction的缩写，是一种针对数学过程的预训练任务，提供半正式的解释步骤，能实现比数据驱动基线和结构更优的模型，并减少位置偏差。
如何利用锚定数字提升语言模型的数字推理能力？
通过在复杂的数字上应用简单的锚定数字隐含的推理表达式，以显式地得到相应的答案并训练语言模型的数字推理能力，实验表明该方法显著提高了现有语言模型的数字推理能力。
MsAT持续预训练对语言模型数学推理有什么帮助？
在合成数据集MsAT上进行持续的预训练，可以将较小的语言模型与多步推理能力相结合，实验证明该方法对增强语言模型的数学推理能力有效。
SYRELM架构是如何实现算术推理的？
SYRELM采用符号求解器将自然语言算术问题转化为形式化语言描述，然后通过一个小型冻结的LM生成包含自然语言描述的形式化表达式，并通过策略梯度强化学习训练适应的LM，从而实现合理的算术推理，在准确性上取得巨大改进，且易于诊断、解释和使用。
WizardMath在数学推理评估上的表现如何？
通过应用RLEIF方法于数学领域，WizardMath增强了Llama-2的数学推理能力，在GSM8k和MATH等数学推理评估上远超其他开源LLMs，甚至胜过了ChatGPT-3.5等模型。
Calculon方法如何提高Transformer语言模型的算术准确性？
Calculon通过分解数字来提高Transformer语言模型执行算术运算的准确性，与GPT-3在加减乘三个运算任务上对比，在五位数加法任务上准确率提高了63%。
