语言模型对数字的理解，至少在某种程度上
内容提要
该文综述语言模型在数值计算与推理方面的研究：以二进制加法和乘法训练轻量模型，发现计算发生在数值空间，模型类似编码-回归-解码机器；提出区分数字与单位的嵌入策略、信息论干预框架以兼顾语言与数学能力、连续概率密度建模数字及多语言组合推理；发现LLMs具有类人数字表示，能将读写能力转化为分组求和、相关性与回归等计算能力，但符号操作仍受限，需位置标记与分步计算，经辅导后可达到高准确率。
延伸解读
计算发生在数值空间，而非符号表面
文章指出，用二进制加法和乘法训练轻量模型后发现，模型在内部将符号映射到数值表示后进行计算，类似编码-回归-解码机器。这意味着语言模型的算术能力可能不依赖表面符号操作，而是依赖内部数值空间。读者可关注模型内部表示是否真正捕捉数值关系，而非仅记忆训练样本。
数字与单位分离的嵌入策略
针对预训练模型理解数字和测量值，文章提出一种嵌入策略来区分数字与单位，以提升性能。这提示在涉及物理量或带单位数值的任务中，简单将数字和单位混在一起嵌入可能损失信息。分离表示有助于模型更准确处理数值本身，但文章未说明该策略对所有任务通用。
语言能力与数学能力的平衡难题
文章提到，向语言模型注入非语言技能时可能发生语言技能灾难性遗忘，并提出信息论干预框架来兼顾语言与数学推理。这说明提升数学能力不一定以牺牲语言能力为代价，但需要专门干预。读者应注意，该框架的效果取决于具体任务和模型，文章未给出通用结论。
符号操作仍是短板，辅导可提准确率
文章发现，大型语言模型在复制、反转、加法等简单符号操作上存在局限，位置标记、细粒度步骤和可调用程序均无法完全解决最简单的加法归纳问题。但带有辅导的模型在分布外和重复符号情况下可达100%准确率。这表明当前模型需外部引导才能可靠完成符号计算，自主推理仍有差距。
Q&A
语言模型做算术计算时，内部是怎么处理的？
研究发现，经过适当的内部表示映射后，语言模型的计算发生在数值空间中，其工作方式类似于一个编码-回归-解码机器。
如何让语言模型在学习数学推理时不遗忘语言能力？
提出一种信息论干预的新型框架，可以克服向语言模型注入非语言技能时发生的语言技能灾难性遗忘，使模型在保留语言能力的同时具备数学推理能力。
语言模型理解数字和单位时，有什么改进嵌入的方法？
提出一种嵌入策略来更好地区分数字和单位，以提高模型在理解数字和测量值上的性能。
用连续概率密度建模数字有什么好处？
使用连续概率密度函数建模开放词汇中的数字，并在临床和科学数据集上评估，表明分层模型可显著提高困惑度指标，连续概率密度函数模型相较于其他策略可分别将平均绝对百分比误差降低18%和54%。
大型语言模型在符号操作任务上表现如何？
大型预训练语言模型对于简单的符号操作任务如复制、反转、加法等存在局限，基于位置标记、细粒度计算步骤以及可调用程序的方法均无法完全解决最简单的加法归纳问题，但带有辅导的LMs可以在OOD和重复符号的情况下实现100%的准确性。
大型语言模型能否将读写能力转化为计算能力？
研究表明存在翻译难题，但通过对四个复杂数据集的统计分析，结合不能通过简单规则编码或记忆的算术操作，可以推断大型语言模型具备对数据分组/枢轴分类求和、推导相关性、演绎特征权重以及使用线性回归预测海量数据的能力。
