本文研究大型预训练语言模型在符号操作任务中的能力，发现其在简单符号操作（如加法）上存在局限。提出基于位置标记和细粒度计算的方法，结果显示仍无法完全解决加法问题。同时，研究探讨了不同数字系统对模型性能的影响，发现十进制系统在数据效率上优于其他系统，为提升语言模型的数字处理能力提供新视角。

该文综述语言模型在数值计算与推理方面的研究：以二进制加法和乘法训练轻量模型，发现计算发生在数值空间，模型类似编码-回归-解码机器；提出区分数字与单位的嵌入策略、信息论干预框架以兼顾语言与数学能力、连续概率密度建模数字及多语言组合推理；发现LLMs具有类人数字表示，能将读写能力转化为分组求和、相关性与回归等计算能力，但符号操作仍受限，需位置标记与分步计算，经辅导后可达到高准确率。

将人类专业知识提炼成规则和事实困难，神经网络擅长发现模式和接受歧义。符号操作是创建类人AI的必要特征，但与神经网络不兼容。符号操作能力是常识的基础，但也有观点认为它是后天获得的。两种观点之间存在差异，符号操作是否需要硬编码还是可以学习。